hadoop笔记一

是Apache 下的一个项目，由HDFS、MapReduce、HBase、Hive 和ZooKeeper等成员组成。其中，HDFS 和MapReduce 是两个最基础最重要的成员
Hadoop 由许多元素构成。其最底部是 Hadoop Distributed File System[3]（HDFS），它存储 Hadoop 集群中所有存储节点上的文件。HDFS（对于本文）的上一层是MapReduce 引擎，该引擎由 JobTrackers 和 TaskTrackers 组成
​hadoop两部分组成

        1、NameNode   作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作(CRUD)
                    数据真正储存的节点内容、或者物理地址  存储（blockID-块地址,data-数据）
        hadoop启动时会将dataNode节点的数据主动上传到NameNode空间中，让所有的数据都让nameNode维护起来，DataNode与NameNode保持心跳（实时通信）实现数据共享、
假设输入域是 one small step for man,one giant leap for mankind。在这个域上运行 Map 函数将得出以下的键/值对列表：
​HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持， MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作，并收集结果
万字长文|Hadoop入门笔记（附资料） 大数据迅速发展，但是Hadoop的基础地位一直没有改变。理解并掌握Hadoop相关知识对于之后的相关组件学习有着地基的作用。本文整理了Hadoop基础理论知识与常用组件介绍，虽然有一些组件已经不太常用。但是理解第一批组件的相关知识对于以后的学习很有帮助，未来的很多组件也借鉴了之前的设计理念。