Hadoop生态圈以及各组成部分的简介
适合大数据的分布式存储与计算平台
HDFS: Hadoop Distributed File System分布式文件系统
MapReduce:并行计算框架
2.Hadoop生态圈
①HBase
Google Bigtable的开源实现
列式数据库
可集群化
可以使用shell、web、api等多种方式访问
适合高读写(insert)的场景
HQL查询语言
NoSQL的典型代表产品
②Hive
数据仓库工具。可以把Hadoop下的原始结构化数据变成Hive中的表
支持一种与SQL几乎完全相同的语言HiveQL。除了不支持更新、索引和事务,几乎SQL的其它特征都能支持
可以看成是从SQL到Map-Reduce的映射器
提供shell、JDBC/ODBC、Thrift、Web等接口
③Zookeeper
Google Chubby的开源实现
用于协调分布式系统上的各种服务。例如确认消息是否准确到达,防止单点失效,处理负载均衡等
应用场景:Hbase,实现Namenode自动切换
工作原理:领导者,跟随者以及选举过程
![\](http://s1.51cto.com/wyfs02/M02/8A/B0/wKiom1g3m7TBMuP_AAAAAAAAAAA540.png)
④Sqoop
用于在Hadoop和关系型数据库之间交换数据
通过JDBC接口连入关系型数据库
⑤Chukwa
架构在Hadoop之上的数据采集与分析框架
主要进行日志采集和分析
通过安装在收集节点的“代理”采集最原始的日志数据
代理将数据发给收集器
收集器定时将数据写入Hadoop集群
指定定时启动的Map-Reduce作业队数据进行加工处理和分析
⑥Pig
Hadoop客户端
使用类似于SQL的面向数据流的语言Pig Latin
Pig Latin可以完成排序,过滤,求和,聚组,关联等操作,可以支持自定义函数
Pig自动把Pig Latin映射为Map-Reduce作业上传到集群运行,减少用户编写Java程序的苦恼
⑦Avro
数据序列化工具,由Hadoop的创始人Doug Cutting主持开发
用于支持大批量数据交换的应用。支持二进制序列化方式,可以便捷,快速地处理大量数据
动态语言友好,Avro提供的机制使动态语言可以方便地处理 Avro数据。
Thrift接口
⑧Cassandra
NoSQL,分布式的Key-Value型数据库,由Facebook贡献
与Hbase类似,也是借鉴Google Bigtable的思想体系
只有顺序写,没有随机写的设计,满足高负荷情形的性能需求
3.Hadoop生态圈流程图
![](http://s5.51cto.com/wyfs02/M02/8A/AC/wKioL1g3meqjFr72AAFub2Dr4m0214.jpg)
本文作者:佚名
来源:51CTO
Hadoop简介、安装 hadoop平台是一个可靠的、可扩展的、可分布式计算的开源软件。 Apache Hadoop平台是一个框架,允许使用简单的编程模型。该平台被设计成可以从单个服务器扩展到数千台服务器,每台服务器都提供本地计算和存储。该平台也被设计成可检测和处理应用层的故障(即高可用、高容错),高可用服务是基于计算机集群的,并且每一台计算机有可能出错。 #### hadoop应用:
相关文章
- Hadoop安装教程_单机/伪分布式配置
- 04 Hadoop生态圈以及各组成部分的简介
- 如何选择满足需求的SQL on Hadoop/Spark系统
- ZooKeeper&Flink&Hadoop集群单个节点服务器挂掉之后的恢复
- [大牛翻译系列]Hadoop 翻译文章索引
- Hadoop、Pig、Hive、NOSQL 学习资源收集
- 【Hadoop】新建hadoop用户以及用户组,给予sudo权限(转)
- 《HBase管理指南》一1.8 Hadoop/ZooKeeper/HBase基本配置
- 《MapReduce 2.0源码分析与编程实战》一1.4 MapReduce与Hadoop
- 《Hadoop MapReduce实战手册》一1.2 在你的机器上安装Hadoop
- 《Hadoop MapReduce实战手册》一1.10 使用MapReduce监控UI
- kafka-connect-hdfs重启,进去RECOVERY状态,从hadoop hdfs拿租约,很正常,但是也太久了吧
- 《R与Hadoop大数据分析实战》一1.1 安装R
- Ubuntu16.04 下 hadoop的安装与配置(伪分布式环境)
- windows环境下一键搭建大数据开发环境,Java+hadoop+hbase+elasticsearch+apache-tomcat,对上海出租车历史数据进行了分析并做了轨迹数据可视化展现