Hadoop生态系统详解大数据
2023-06-13 09:20:26 时间
以下图1是hadoop生态图,通俗的说,就是hadoop核心模块和衍生的子项目。
图 1 Hadoop生态系统图
由图可知,hadoop生态系统包括以下成员:
① 各种浏览器,产生海量的Web数据;
② Nutch项目,一个快速搜索海量网页的开源项目
③ HDFS,Hadoop分布式文件系统,大数据的存储系统;
④ 数据分析和可视化工具;
⑤ MapReduce,大数据处理系统;
⑥ 非结构化数据采集和处理工具(fuse,webdav,chukwa,flume,Scribe);
⑦ 结构化数据与HDFS之间的交互工具(Hiho,sqoop);
⑧ 多样化的MapReduce程序控制工具(Pig,Hive,Jaql);
⑨ 数据可视化工具(drilldown,Intellicus);
⑩ 工作流管理工具(oozie,Cascading);
⑪ Hadoop生态系统的监管工具(Hue,karmasphere,eclipse plugin,cacti,ganglia);
⑫ 数据序列化处理与任务调度工具(Avro,Zookeeper);
⑬ 构建在Hadoop上层的服务( Mahout,Elastic map Reduce);
⑭ 在线事务处理存储系统(HBase)。
整个Hadoop生态系统涉及到了大数据收集、大数据存储、大数据处理、大数据分析和大数据应用,从而真正达到寻找和应用大数据价值的目的。(3)和(5)是Hadoop的核心模块,破解了大数据存储和处理的难题。
9165.html
分布式文件系统,分布式数据库区块链并行处理(MPP)数据库,数据挖掘开源大数据平台数据中台数据分析数据开发数据治理数据湖数据采集相关文章
- 大数据Hadoop生态圈介绍
- 大数据面试题(二):Hadoop的联邦机制核心高频面试题
- 大数据面试题(二):Hadoop的联邦机制核心高频面试题
- Hadoop(五)搭建Hadoop客户端与Java访问HDFS集群详解大数据
- Hadoop(九)Hadoop IO之Compression和Codecs详解大数据
- Hadoop(十)Hadoop IO之数据完整性详解大数据
- hadoop之wordCount详解大数据
- Hadoop综合练习第八节–ahout部署及进行20newsgroup数据分析例子详解大数据
- Hadoop综合练习第九节–HBase基础知识详解大数据
- Hadoop综合练习第十一节–HBase作业详解大数据
- Hadoop入门进阶课程2–Hadoop2.X 64位编译详解大数据
- Hadoop入门进阶课程9–Mahout介绍、安装与应用案例详解大数据
- hadoop datanode节点超时时间设置详解大数据
- 大数据分析系统Hadoop的13个开源工具详解大数据
- Hadoop故障处理全分布下,DataNode进程正常启动,但是网页上不显示,并且DataNode节点为空详解大数据
- Hadoop代码笔记Hadoop作业提交之客户端作业提交详解大数据
- hadoop面试总结详解大数据
- Hadoop(HA)分布式集群部署详解大数据
- Spark1.4.0和hadoop联合部署的坑详解大数据
- hadoop is running beyond virtual memory limits问题解决详解大数据
- hadoop的client搭建-即集群外主机访问hadoop详解大数据
- hadoop知识点总结详解大数据
- Hadoop:HDFS权限管理用户指南详解大数据
- 互联网公司如何利用云计算平台Hadoop详解大数据
- 高可用Hadoop平台-实战尾声篇详解大数据
- 配置高可用的Hadoop平台详解大数据
- Hadoop社区版搭建详解大数据
- Hadoop与MySQL联合打造大数据分析平台(hadoop与mysql)