提供了编程的基础技术教程

zl程序教程

您现在的位置是：首页 >  其他

当前栏目

hadoop单机安装配置教程

安装配置hadoop教程 单机
2023-06-13 09:14:41 时间
单机安装主要用于程序逻辑调试。安装步骤基本通分布式安装，包括环境变量，主要Hadoop配置文件，SSH配置等。主要的区别在于配置文件：slaves配置需要修改，另外如果分布式安装中dfs.replication大于1，需要修改为1，因为只有1个datanode.
分布式安装请参考：
http://acooly.iteye.com/blog/1179828
单机安装中，使用一台机器，即做namenode和JobTracker也是datanode和TaskTracker，当然也是SecondaryNameNode。
主要配置文件core-site.xml,hdfs-site.xml,mapred-site.xml,masters完全同分布树安装配置，如果分布式安装配置方案中hdfs-site.xml的副本数量定义大于1，则修改为1.
复制代码代码如下:

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

主要不同在于slaves的配置，分布式安装中是多个其他机器作为datanode，单机模式本机是datanode,所以修改slaves配置文件为本机的域名。如：本机机器名为hadoop11,则：
[hadoop@hadoop11~]$cathadoop/conf/slaves
hadoop11
完成配置后，启动：
复制代码代码如下:

$start-all.sh
$jps
15556Jps
15111JobTracker
15258TaskTracker
15014SecondaryNameNode
14861DataNode
14712NameNode

运行DEMO
$echoword1word2word2word3word3word3>words
$catwords
word1word2word2word3word3word3
$hadoopdfsadmin-safemodeleave
$hadoopfs-copyFromLocalwords/single/input/words
$hadoopfs-cat/single/input/words
12/02/1719:47:44INFOsecurity.Groups:Groupmappingimpl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping;cacheTimeout=300000
word1word2word2word3word3word3
$hadoopjarhadoop-0.21.0/hadoop-mapred-examples-0.21.0.jarwordcount/single/input/single/output
......
$hadoopfs-ls/single/output
......
-rw-r--r--1hadoopsupergroup02012-02-1719:50/single/output/_SUCCESS
-rw-r--r--1hadoopsupergroup242012-02-1719:50/single/output/part-r-00000
$hadoopfs-cat/single/output/part-r-00000
......
word11
word22
word33

相关文章