【HBase】图解 HDFS 工作原理

微博上看到的一张关于HDFS的图片，形象生动的解释的HDFS的工作原理，再确切一点是 写操作的的基本过程： 1 一个集群中只有一个NameNode，可以有多个DataNodes 2  namenode 承担 数据的位置存储信息 ，并将存储位置信息告诉client端！ 3 得到位置信息后，client端开始写数据 4 写数据的时候是将数据分块，并存储为多份（一般为3份），放在不同的datanode 节点！ 5 client 先将数据写到第一个节点，在第一个节点接收数据的同时，又将它所接收的数据推送到第二个，第二个推送到第三个节点，如果有多个节点，依次类推。。 6 从图中可以知道 NameNode 不参与 数据块的IO的！相当于mongodb 集群中的 mongos 和config 服务器的双重角色！

通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据 下文将重点说明通过Sqoop实现Mysql与HDFS互导数据，Mysql与Hbase,Oracle与Hbase的互导最后给出命令。 一、Mysql与HDFS互导数据 宿主机器操作系统为Win7，Mysql安装在宿主机上，宿主机地址为192.168.66.96 3台虚拟机操作系统为Ubuntu-12.04.1-32位 三台虚拟机已成功安装hadoop，并实现免密钥互访，配hosts为： 192.168.66.91 masternode 192.168.66.92 slavenode1 192.168.66.93 slavenode2 /etc/profile已配置好必备环境变量HADOO
大数据平台解决方案，Hadoop + HDFS+Hive+Hbase大数据开发整体架构设计 HDFS：分布式、高度容错性文件系统,能提供高吞吐量的数据访问,非常适合大规模数据集上的应用，大规模的波若大数据平台（BR-odp）用户部署上1000台的HDFS集群。