Alluxio之定位策略
定位 策略 ALLuxio
2023-09-27 14:29:33 时间
Alluxio提供定位策略,用于确定应该选择哪个Worker来存储文件数据块。用户可以在CreateFileOptions中设置该策略以用于写文件,也可在OpenFileOptions中设置该策略用于向Alluxio中读文件。
Flink 批作业的运行时自适应执行管控 阿里云高级技术专家朱翥(长耕),在 FFA 核心技术专场的分享。本篇内容是关于在过去的一年中,Apache Flink 对运行时的作业执行管控进行的一些改进。
在 Presto 中利用一致性哈希算法增强动态集群的数据缓存本地性 将Alluxio与Presto结合运行在社区中越来越流行,使用固态硬盘或内存来缓存热数据集,能够实现近 Presto worker 的数据本地行,从而避免了远程读取数据导致的高延迟。Presto 支持基于哈希的软亲和调度(soft affinity scheduling),这样整个集群中相同数据只缓存一、两个副本,更多的热数据能被缓存到本地,提高缓存效率。现有哈希算法在集群规模发生变化时效果并不理想。针对这一问题,本文介绍了一种可用于软亲和调度的新哈希算法——一致性哈希(consistent hashing)。
分布式作业 Elastic Job 如何动态调整? 前面分享了两篇分布式作业调度框架 Elastic Job 的介绍及应用实战。 ElasticJob-分布式作业调度神器 分布式作业 Elastic Job 快速上手指南! Elastic Job 提供了简单易用的运维平台,方便用户监控、动态修改作业参数、作业操作及查询作业。
数据湖实操讲解【JindoFS 缓存加速】第十四讲:指定表和分区来预先缓存,查询分析更高效 数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播! 扫文章底部二维码入钉群,线上准时观看~ Github链接: https://github.com/aliyun/alibabacloud-jindofs
JindoFS 存储策略和读写优化 本次分享主要介绍数据读写在计算存储分离的场景下所面临的常见问题以及相关的优化手段,并结合JindoFS应用场景介绍对数据缓存加速的相关技术和策略。
4月23日JindoFS系列直播【大规模文件元数据下的耗时操作优化】 本次直播主要介绍大数据生态中常见的元数据服务部署形态,并分析大规模文件元数据下在生产环境中可能遇到的问题,以及针对这些问题如何进行优化和调整。
Alluxio提供定位策略,用于确定应该选择哪个Worker来存储文件数据块。用户可以在CreateFileOptions中设置该策略以用于写文件,也可在OpenFileOptions中设置该策略用于向Alluxio中读文件。Alluxio支持自定义定位策略,内置策略包括:
1、LocalFirstPolicy
首先返回本地主机,如果本地Worker没有足够的容量容纳一个数据块,那么就会从有效的Worker列表中随机选择一个Worker。这也是默认策略。
2、MostAvailableFirstPolicy
返回拥有最多可用容量的Worker。
3、RoundRobinPolicy
以循环的方式选取存储下一个数据块的Worker,如果该Worker没有足够的容量,就将其跳过。
4、SpecificHostPolicy
返回指定主机名的Worker。该策略不能被设置为默认策略。
Flink 批作业的运行时自适应执行管控 阿里云高级技术专家朱翥(长耕),在 FFA 核心技术专场的分享。本篇内容是关于在过去的一年中,Apache Flink 对运行时的作业执行管控进行的一些改进。
在 Presto 中利用一致性哈希算法增强动态集群的数据缓存本地性 将Alluxio与Presto结合运行在社区中越来越流行,使用固态硬盘或内存来缓存热数据集,能够实现近 Presto worker 的数据本地行,从而避免了远程读取数据导致的高延迟。Presto 支持基于哈希的软亲和调度(soft affinity scheduling),这样整个集群中相同数据只缓存一、两个副本,更多的热数据能被缓存到本地,提高缓存效率。现有哈希算法在集群规模发生变化时效果并不理想。针对这一问题,本文介绍了一种可用于软亲和调度的新哈希算法——一致性哈希(consistent hashing)。
分布式作业 Elastic Job 如何动态调整? 前面分享了两篇分布式作业调度框架 Elastic Job 的介绍及应用实战。 ElasticJob-分布式作业调度神器 分布式作业 Elastic Job 快速上手指南! Elastic Job 提供了简单易用的运维平台,方便用户监控、动态修改作业参数、作业操作及查询作业。
数据湖实操讲解【JindoFS 缓存加速】第十四讲:指定表和分区来预先缓存,查询分析更高效 数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播! 扫文章底部二维码入钉群,线上准时观看~ Github链接: https://github.com/aliyun/alibabacloud-jindofs
JindoFS 存储策略和读写优化 本次分享主要介绍数据读写在计算存储分离的场景下所面临的常见问题以及相关的优化手段,并结合JindoFS应用场景介绍对数据缓存加速的相关技术和策略。
4月23日JindoFS系列直播【大规模文件元数据下的耗时操作优化】 本次直播主要介绍大数据生态中常见的元数据服务部署形态,并分析大规模文件元数据下在生产环境中可能遇到的问题,以及针对这些问题如何进行优化和调整。
相关文章
- 项目篇 | 基于STM32单片机NBIOT定位实战项目
- 定位(二):无迹卡尔曼滤波
- 一个不错的定位API网站
- Android应用内存泄漏的定位、分析与解决策略
- selenium八种定位页面元素方法)
- MySQL 中如何定位 DDL 被阻塞的问题
- CSS中更加高级的布局手段——定位之固定定位及粘滞定位
- 自制简单表单验证relative与absolute定位
- 来看看Android获取定位到底有几种方式?
- selenium+xpath 文本信息定位
- vue2.0 从入门到精通 (本文特别长,但是文章右上角有目录导航,可以定位,更新中)
- springboot升级过程中踩坑定位分析记录 | 京东云技术团队
- CSS3 positon定位详解(通俗易懂)
- mysql服务器io等待高定位与分析
- iOS开发拓展篇—CoreLocation定位服务
- 关于崩溃等问题的定位总结(使用qcc的一些方法来尝试)
- 我的Android进阶之旅------>Android百度地图定位SDK功能学习