阿帕奇软件基金会公布Hadoop 2最新版本
阿帕奇软件基金会(Apache Software Foundation)在周三公布了其最新版本的开源数据处理程序Hadoop 2。新版本可同时运行多个程序,以便用户能够以超级计算速度迅捷高效地用多种方式处理数据。
阿帕奇Hadoop为一种架构,允许在计算机集群间使用简单的编程模型分布式处理大型数据集。这一架构使得企业能够以更为高效、更为合理的费效比存储、处理、管理和分析每天新生成的和所收集到的数据。
目前Hadoop已经部署至全球众多公司当中,其中包括亚马逊网络服务(AWS)、AOL、苹果、易趣、Facebook、Netflix和惠普等知名公司。
在周三推出的该平台最新版本增加了大量的新组件,历时四年多打造。其中最值得关注的是,新增了YARN。YARN(Yet Another Resource Negotiator,另一种资源协调者)为Hadoop中的MapReduce的后继产品。新版本将主要功能分成两个独立的守护进程中,其中一个负责资源管理,另一个负责任务安排和监控。
阿帕奇软件基金会在发布会上称,YARN位于HDFS(Hadoop分布式文件系统)的顶层,作为针对大数据应用的大型分布式操作系统,以便能够同时运行多个应用,使其在整个生命周期中更为高效地为数据提供支持。Hadoop 2和YARN使用户能够在稳定的Hadoop生态系统基础部分中混合批处理、交互和实时工作负载。
该基金会还表示,YARN为MapReduce的第二版(Version 2),其API保持了与上一版本的兼容。针对MapReduce 编写的应用也可在YARN上运行,无需重新编译。
阿帕奇软件基金会称,目前有超过12个阿帕奇项目整合了Hadoop,未来还将有十多个项目将整合Hadoop。
Hadoop 2通用版(GA)与阿帕奇软件基金会在6月份推出的预发行版一致,其中也包括了YARN。阿帕奇Hadoop 2将会根据阿帕奇许可证v2.0版推出
相关文章
- 【技术种草】cdn+轻量服务器+hugo=让博客“云原生”一下
- CLB运维&运营最佳实践 ---访问日志大洞察
- vnc方式登陆服务器
- 轻松学排序算法:眼睛直观感受几种常用排序算法
- 十二个经典的大数据项目
- 为什么使用 CDN 内容分发网络?
- 大数据——大数据默认端口号列表
- Weld 1.1.5.Final,JSR-299 的框架
- JavaFX 2012:彻底开源
- 提升as3程序性能的十大要点
- 通过凸面几何学进行独立于边际的在线多类学习
- 利用行动影响的规律性和部分已知的模型进行离线强化学习
- ModelLight:基于模型的交通信号控制的元强化学习
- 浅谈Visual Source Safe项目分支
- 基于先验知识的递归卡尔曼滤波的代理人联合状态和输入估计
- 结合网络结构和非线性恢复来提高声誉评估的性能
- 最佳实践丨云开发CloudBase多环境管理实践
- TimeVAE:用于生成多变量时间序列的变异自动编码器
- 具有线性阈值激活的神经网络:结构和算法
- 内网渗透之横向移动 -- 从域外向域内进行密码喷洒攻击