zl程序教程

您现在的位置是:首页 >  其他

当前栏目

Alluxio之定位策略

定位 策略 ALLuxio
2023-09-27 14:29:33 时间
        Alluxio提供定位策略,用于确定应该选择哪个Worker来存储文件数据块。用户可以在CreateFileOptions中设置该策略以用于写文件,也可在OpenFileOptions中设置该策略用于向Alluxio中读文件。

        Alluxio提供定位策略,用于确定应该选择哪个Worker来存储文件数据块。用户可以在CreateFileOptions中设置该策略以用于写文件,也可在OpenFileOptions中设置该策略用于向Alluxio中读文件。Alluxio支持自定义定位策略,内置策略包括:


        1、LocalFirstPolicy

        首先返回本地主机,如果本地Worker没有足够的容量容纳一个数据块,那么就会从有效的Worker列表中随机选择一个Worker。这也是默认策略。


        2、MostAvailableFirstPolicy

        返回拥有最多可用容量的Worker。


        3、RoundRobinPolicy

        以循环的方式选取存储下一个数据块的Worker,如果该Worker没有足够的容量,就将其跳过。


        4、SpecificHostPolicy

        返回指定主机名的Worker。该策略不能被设置为默认策略。


Flink 批作业的运行时自适应执行管控 阿里云高级技术专家朱翥(长耕),在 FFA 核心技术专场的分享。本篇内容是关于在过去的一年中,Apache Flink 对运行时的作业执行管控进行的一些改进。
在 Presto 中利用一致性哈希算法增强动态集群的数据缓存本地性 将Alluxio与Presto结合运行在社区中越来越流行,使用固态硬盘或内存来缓存热数据集,能够实现近 Presto worker 的数据本地行,从而避免了远程读取数据导致的高延迟。Presto 支持基于哈希的软亲和调度(soft affinity scheduling),这样整个集群中相同数据只缓存一、两个副本,更多的热数据能被缓存到本地,提高缓存效率。现有哈希算法在集群规模发生变化时效果并不理想。针对这一问题,本文介绍了一种可用于软亲和调度的新哈希算法——一致性哈希(consistent hashing)。
分布式作业 Elastic Job 如何动态调整? 前面分享了两篇分布式作业调度框架 Elastic Job 的介绍及应用实战。 ElasticJob-分布式作业调度神器 分布式作业 Elastic Job 快速上手指南! Elastic Job 提供了简单易用的运维平台,方便用户监控、动态修改作业参数、作业操作及查询作业。
数据湖实操讲解【JindoFS 缓存加速】第十四讲:指定表和分区来预先缓存,查询分析更高效 数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播! 扫文章底部二维码入钉群,线上准时观看~ Github链接: https://github.com/aliyun/alibabacloud-jindofs
JindoFS 存储策略和读写优化 本次分享主要介绍数据读写在计算存储分离的场景下所面临的常见问题以及相关的优化手段,并结合JindoFS应用场景介绍对数据缓存加速的相关技术和策略。
4月23日JindoFS系列直播【大规模文件元数据下的耗时操作优化】 本次直播主要介绍大数据生态中常见的元数据服务部署形态,并分析大规模文件元数据下在生产环境中可能遇到的问题,以及针对这些问题如何进行优化和调整。