Alluxio1.0发布:API顺畅衔接大数据应用与存储
【51CTO.com快译】最初定名为Tachyon的Alluxio公司正积极构建API方案,旨在帮助大数据应用程序以更快速度通过统一化接入方式访问数据所驻留的存储体系。
Alluxio的存储API能够支持Amazon S3、Google Cloud Storage、OpenStack Swift、EMC以及NetApp。
目前已经迎来1.0版本的Alluxio API方案能够帮助Spark、MapReduce、Flink或者Presto等框架访问多种存储系统类型。除了Amazon S3、Google Cloud Storage以及OpenStack Swift等受支持云存储供应商外,EMC与NetApp等传统存储方案供应商亦在其支持列表当中。
从表面上看,Alluxio似乎属于一套类似于Memcached或者Redis的内存缓存系统。但恰恰相反,它立足于分布式计算应用与存储体系之间,并通过提供统一化API帮助前者与后者顺畅对接。各应用程序能够利用Alluxio的API享受到出色的访问速度,同时摆脱各类传统API(例如HDFS实现机制)糟糕的速度与兼容性表现。
在本月早些时候发布的一篇博文当中,英特尔公司的工程师们描述了Alluxio如何帮助其解决大数据框架使用当中所出现的各类常见难题,例如在不同应用程序之间进行数据共享。相较于将数据写入至HDFS再重新加以读取,现在用户能够将数据写入至Alluxio的内存内存储体系,并以更快速度完成二次读取。
同样的,一直困扰着Spark等大数据框架的JVM垃圾回收与堆缓存问题亦可通过Alluxio得到切实解决。IBM公司早在Alluxio尚处于Tachyon时代时即给出过类似的结论,表示其能够将内存内HDFS的写入速度提升110倍,同时“将端到端现实工作流延迟削减至原本的四分之一”。
Alluxio还能够对其它解决方案做出补充; 举例来说,通过将Apache Arrow与适合现代CPU之应用程序格式相对接以显著提高数据处理速度。Arrow所需要的存储数据全部由Alluxio负责供应。
作为Tachyon的化身,Alluxio已经开始为多个大数据项目提供支持,而Spark则正是其中的典型代表。该公司计划进一步面向其它大数据项目及存储系统供应商构建更为全面的支持能力。
原文链接:Big data, but faster: API speeds links between apps and storage
【51CTO译稿,合作站点转载请注明原文译者和出处为51CTO.com】
相关文章
- 数据孤岛是业务效率的无声杀手
- 2023展望:新的一年将给大数据分析领域带来什么?
- 阿里云ADB基于Hudi构建Lakehouse的实践
- 大数据在医疗保健领域的使用案例
- 微软增加说明:KB5021751 更新扫描已经 / 即将过时 Office 过程中不会触碰用户隐私
- 2022 Gartner全球云数据库管理系统魔力象限发布 腾讯云数据库入选
- 场景化、重实操,分享一个实时数仓实践案例
- Arctic的湖仓一体践行之路
- 分布式计算MapReduce究竟是怎么一回事?
- 淘系数据模型治理优秀实践
- 大数据分析对医疗保健的影响
- 当我们说大数据Hadoop,究竟在说什么?
- 2022年及以后大数据的五个发展趋势
- 网易严选离线数仓治理实践
- 2023 年数据治理趋势
- 一份“靠谱”的年度经营计划,你学会了吗?
- 漫谈对大数据的思考
- 测试一下,读懂数据的能力,你有吗?
- 用艺术的眼光探索数据之美
- 聊聊数据分析成果如何落地