在Linux环境下部署Hadoop2.4.1伪分布式详解编程语言

1.准备Linux环境
1.0点击VMware快捷方式，右键打开文件所在位置 - 双击vmnetcfg.exe - VMnet1 host-only - 修改subnet ip 设置网段：192.168.8.0 子网掩码：255.255.255.0 - apply - ok
回到windows – 打开网络和共享中心 - 更改适配器设置 - 右键VMnet1 - 属性 - 双击IPv4 - 设置windows的IP：192.168.8.100 子网掩码：255.255.255.0 - 点击确定
在虚拟软件上 –My Computer - 选中虚拟机 - 右键 - settings - network adapter - host only - ok
1.1修改主机名
vim /etc/sysconfig/network

 NETWORKING=yes 

 HOSTNAME=itcast01 ### 

1.2修改IP 

 两种方式： 

 第一种：通过Linux图形界面进行修改（强烈推荐） 

 进入Linux图形界面 - 右键点击右上方的两个小电脑 - 点击Edit connections - 选中当前网络System eth0 - 点击edit按钮 - 选择IPv4 - method选择为manual - 点击add按钮 - 添加IP：192.168.8.118 子网掩码：255.255.255.0 网关：192.168.1.1 - apply 

 第二种：修改配置文件方式（屌丝程序猿专用） 

 vim /etc/sysconfig/network-scripts/ifcfg-eth0 

 DEVICE="eth0" 

 BOOTPROTO="static" ### 

 HWADDR="00:0C:29:3C:BF:E7" 

 IPV6INIT="yes" 

 NM_CONTROLLED="yes" 

 ONBOOT="yes" 

 TYPE="Ethernet" 

 UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c" 

 IPADDR="192.168.8.118" ### 

 NETMASK="255.255.255.0" ### 

 GATEWAY="192.168.8.1" ### 

1.3修改主机名和IP的映射关系 

 vim /etc/hosts 

 192.168.8.118 itcast01 

1.4关闭防火墙 

 #查看防火墙状态 

 service iptables status 

 #关闭防火墙 

 service iptables stop 

 #查看防火墙开机启动状态 

 chkconfig iptables --list 

 #关闭防火墙开机启动 

 chkconfig iptables off 

1.5重启Linux 

 reboot 

2.安装JDK
2.1上传

2.2解压jdk 

 #创建文件夹 

 mkdir /usr/java 

 #解压 

 tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/java/ 

2.3将java添加到环境变量中 

 vim /etc/profile 

 #在文件最后添加 

 export JAVA_HOME=/usr/java/jdk1.7.0_55 

 export PATH=$PATH:$JAVA_HOME/bin 

 #刷新配置 

 source /etc/profile 

3.安装hadoop2.4.1
注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop
伪分布式需要修改5个配置文件
3.1配置hadoop
第一个：hadoop-env.sh
vim hadoop-env.sh
#第27行
export JAVA_HOME=/usr/java/jdk1.7.0_65

第二个：core-site.xml 

 !-- 制定HDFS的老大（NameNode）的地址 -- 

 property 

 name fs.defaultFS /name 

 value hdfs://itcast01:9000 /value 

 /property 

 !-- 指定hadoop运行时产生文件的存储目录 -- 

 property 

 name hadoop.tmp.dir /name 

 value /itcast/hadoop-2.4.1/tmp /value 

 /property 

第三个：hdfs-site.xml 

 !-- 指定HDFS副本的数量 -- 

 property 

 name dfs.replication /name 

 value 1 /value 

 /property 

第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml) 

 mv mapred-site.xml.template mapred-site.xml 

 vim mapred-site.xml 

 !-- 指定mr运行在yarn上 -- 

 property 

 name mapreduce.framework.name /name 

 value yarn /value 

 /property 

第五个：yarn-site.xml 

 !-- 指定YARN的老大（ResourceManager）的地址 -- 

 property 

 name yarn.resourcemanager.hostname /name 

 value itcast01 /value 

 /property 

 !-- reducer获取数据的方式 -- 

 property 

 name yarn.nodemanager.aux-services /name 

 value mapreduce_shuffle /value 

 /property 

3.2将hadoop添加到环境变量 

vim /etc/proflie 

 export JAVA_HOME=/usr/java/jdk1.7.0_65 

 export HADOOP_HOME=/itcast/hadoop-2.4.1 

 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 

source /etc/profile 

3.3格式化namenode（是对namenode进行初始化） 

 hdfs namenode -format (hadoop namenode -format) 

3.4启动hadoop 

 先启动HDFS 

 sbin/start-dfs.sh 

 再启动YARN 

 sbin/start-yarn.sh 

3.5验证是否启动成功 

 使用jps命令验证 

 27408 NameNode 

 28218 Jps 

 27643 SecondaryNameNode 

 28066 NodeManager 

 27803 ResourceManager 

 27512 DataNode 

 http://192.168.8.118:50070 （HDFS管理界面） 

 http://192.168.8.118:8088 （MR管理界面） 

4.配置ssh免登陆
#生成ssh免登陆密钥
#进入到我的home目录
cd ~/.ssh

ssh-keygen -t rsa （四个回车） 

执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥） 

将公钥拷贝到要免登陆的机器上 

ssh-copy-id localhost 

13851.html