zl程序教程

您现在的位置是:首页 >  其他

当前栏目

Yahoo公布Hadoop的源代码

2023-04-18 14:44:21 时间

根据国外媒体报道,Yahoo公布了Hadoop的源代码,Hadoop是一个开源的Java并行编程框架,它是Map/Reduce的开源版本,而Map/Reduce则是Google用在计算机簇上对大规模数据进行分布式计算的架构。

该源代码可以再Yahoo的网站上下载(http://developer.yahoo.com/hadoop/distribution/),是0.20 alpha版,其中包括一个可以让多个用户通过不同的队列共享一个簇的规划器。源代码中还包含了一段Yahoo添加的用于提高稳定性和执行性能的代码段。这些代码段已经加入到了Apache中,不过在现有的Hadoop源代码的Apache发行版中还没有这些代码。Yahoo目前在其产品中提供的是Hadoop 0.18.3版。

Hadoop源代码是由Doug Cutting开发,它实现了Map/Reduce的技术,该技术可以将应用程序分解为多个工作片段,每一个片段都可以在簇中的任何一个节点中运行。它还支持HDFS分布式文件系统,该文件系统将数据存储在簇的节点中,以此来提高带宽利用。

 

【编辑推荐】

  1. Bing、Google、Yahoo三强***大比拼
  2. 面向Java开发者的Yahoo富UI组件库
  3. Yahoo推出新的陈列式广告系统APT
  4. Yahoo发表Search Assist 强化搜索服务
  5. Yahoo!揭开Ajax WebServices的面纱