《Hadoop MapReduce实战手册》一1.1 简介
本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第1章,第1.1节,作者: 【美】Srinath Perera , Thilina Gunarathne 译者: 杨卓荦 责编: 杨海玲,更多章节内容可以访问云栖社区“异步社区”公众号查看。
1.1 简介Hadoop MapReduce实战手册
很多年来,想要存储和分析数据的用户都需要先将数据存储在数据库中,然后再通过SQL查询来处理。万维网已经改变了这个时代的大多数假设。万维网上的数据是非结构化的大型数据,以至于数据库既不能以某种模式捕捉它们,也无法扩展存储和处理它们。
Google是最早面对这类问题的组织之一,他们想要下载镜像因特网数据并索引它们以支持搜索查询。他们创建了一个用于大规模数据处理的框架,借鉴了函数式编程范式的“map”函数和
“reduce”函数。它们被称为MapReduce范式。
Hadoop最广为人知,同时也是最最广泛使用的MapReduce范式实现。本章将介绍Hadoop,描述如何安装Hadoop,并演示如何使用Hadoop运行你的第一个MapReduce作业。
Hadoop的安装由4种类型的节点构成:NameNode、DataNode、JobTracker和TaskTracker。HDFS节点(NameNode和DataNode)提供了一套分布式文件系统,在这套系统上,JobTracker管理作业,每个TaskTracker各自运行该作业的一部分任务。用户提交MapReduce作业给JobTracker,JobTracker运行这些初始作业的Map和Reduce部分,收集中间结果,并最终输出结果。
Hadoop提供了以下三种可供选择的安装方式。
本地模式:这是一种解压缩即运行的模式,能让你马上开始,Hadoop的各个部分都运行在同一JVM中。 伪分布式模式:这种模式将使用不用的java虚拟机运行Hadoop的不同部分,但这些java虚拟机运行在一台机器上。 分布式模式:这才是真正的跨多台机器的安装模式。我们将在前三节中讨论本地模式,在后三节中讨论伪分布式和分布式模式。
《Hadoop MapReduce实战手册》一导读 本书目标是帮助读者学会处理大型的复杂数据集。本书虽从简单的例子开始,但仍然可以看到深入的内容。这是一本简单的一站式指南,传授如何完成复杂的事情。它以一种简单而直接的方式呈现了90个攻略,给出了一步步的指导和真实环境的应用示例。
异步社区 异步社区(www.epubit.com)是人民邮电出版社旗下IT专业图书旗舰社区,也是国内领先的IT专业图书社区,致力于优质学习内容的出版和分享,实现了纸书电子书的同步上架,于2015年8月上线运营。公众号【异步图书】,每日赠送异步新书。
相关文章
- 高可用Hadoop平台-Flume NG实战图解篇
- 高可用Hadoop平台-实战
- Hadoop项目实战-用户行为分析之编码实践
- Ubuntu下 Hadoop 1.2.1 配置安装 - 大T的专栏 - 博客频道 - CSDN.NE
- Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别 Pig
- HADOOP:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable终于解决了
- Hadoop安装实战
- Hadoop大数据——mapreduce的secondary排序机制
- 【Hadoop基础】hadoop fs 命令
- BigData:大数据开发的简介、核心知识(linux基础+Java/Python编程语言+Hadoop{HDFS、HBase、Hive}+Docker)、经典场景应用之详细攻略
- java.io.IOException: Could not locate executable nullbinwinutils.exe in the Hadoop binaries.
- Hadoop MapReduce编程的一些个人理解
- Hive数据分析——Spark是一种基于rdd(弹性数据集)的内存分布式并行处理框架,比于Hadoop将大量的中间结果写入HDFS,Spark避免了中间结果的持久化
- 大数据Hadoop之——部署hadoop+hive环境(window10)
- Hadoop项目实战之多类型输入
- Hadoop 项目实战之一WordCount程序