Yahoo公布Hadoop的源代码
2023-04-18 14:44:21 时间
根据国外媒体报道,Yahoo公布了Hadoop的源代码,Hadoop是一个开源的Java并行编程框架,它是Map/Reduce的开源版本,而Map/Reduce则是Google用在计算机簇上对大规模数据进行分布式计算的架构。
该源代码可以再Yahoo的网站上下载(http://developer.yahoo.com/hadoop/distribution/),是0.20 alpha版,其中包括一个可以让多个用户通过不同的队列共享一个簇的规划器。源代码中还包含了一段Yahoo添加的用于提高稳定性和执行性能的代码段。这些代码段已经加入到了Apache中,不过在现有的Hadoop源代码的Apache发行版中还没有这些代码。Yahoo目前在其产品中提供的是Hadoop 0.18.3版。
Hadoop源代码是由Doug Cutting开发,它实现了Map/Reduce的技术,该技术可以将应用程序分解为多个工作片段,每一个片段都可以在簇中的任何一个节点中运行。它还支持HDFS分布式文件系统,该文件系统将数据存储在簇的节点中,以此来提高带宽利用。
【编辑推荐】
相关文章
- 【技术种草】cdn+轻量服务器+hugo=让博客“云原生”一下
- CLB运维&运营最佳实践 ---访问日志大洞察
- vnc方式登陆服务器
- 轻松学排序算法:眼睛直观感受几种常用排序算法
- 十二个经典的大数据项目
- 为什么使用 CDN 内容分发网络?
- 大数据——大数据默认端口号列表
- Weld 1.1.5.Final,JSR-299 的框架
- JavaFX 2012:彻底开源
- 提升as3程序性能的十大要点
- 通过凸面几何学进行独立于边际的在线多类学习
- 利用行动影响的规律性和部分已知的模型进行离线强化学习
- ModelLight:基于模型的交通信号控制的元强化学习
- 浅谈Visual Source Safe项目分支
- 基于先验知识的递归卡尔曼滤波的代理人联合状态和输入估计
- 结合网络结构和非线性恢复来提高声誉评估的性能
- 最佳实践丨云开发CloudBase多环境管理实践
- TimeVAE:用于生成多变量时间序列的变异自动编码器
- 具有线性阈值激活的神经网络:结构和算法
- 内网渗透之横向移动 -- 从域外向域内进行密码喷洒攻击