zl程序教程

您现在的位置是:首页 >  其他

当前栏目

windows安装hadoop教程,带截图

2023-04-18 16:16:20 时间

1:下载hadoop资源,链接:https://pan.baidu.com/s/19KVtjOCCwu9bEleRCWNGWA

 提取码:6666

2:解压hadoop资源,我是解压到D盘根目录

​​​​​​​

 3:配置系统变量和环境变量

变量名:HADOOP_HOME

变量值:D:Hadoophadoop-2.7.7(根据个人解压目录填写

环境变量值:%HADOOP_HOME%in

 4:测试配置是否成功

打开cmd,输入hadoop,如果出现下图则配置成功

 5:将D:Hadoophadoop-2.7.7inhadoop.dll移动到D:Hadoophadoop-2.7.7sbin以及C:WindowsSystem32这两个目录下。

 

 

6:创建目录
修改之前先创建以下几个空目录:
D:Hadoophadoop-2.7.7data
D:Hadoophadoop-2.7.7datadfs
D:Hadoophadoop-2.7.7datadfsdatanode
D:Hadoophadoop-2.7.7datadfs amenode
7:修改配置文件

1)D:Hadoophadoop-2.7.7etchadoop下的core-site.xml文件。

打开该文件,找到如下位置。

将<configuration>
</configuration> 改为如下内容

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:9000</value>
	</property>
</configuration>

 2)D:Hadoophadoop-2.7.7etchadoop下的hdfs-site.xml文件。

 注意路径改为压缩后的路径

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.namenode.http-address</name>
		<value>localhost:50070</value>
	</property>
	<property>
		<name>dfs.namenode.dir</name>
		<value>/D:/Hadoop/hadoop-2.7.7/data/dfs/namenode</value>
	</property>
	<property>
		<name>dfs.datanode.name.dir</name>
		<value>/D:/Hadoop/hadoop-2.7.7/data/dfs/datanode</value>
	</property>
</configuration>

3)D:Hadoophadoop-2.7.7etchadoop下的mapred-site.xml.template文件。

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<name>mapred.job.tracker</name>
		<value>hdfs://localhost:9001</value>
	</property>
</configuration>

改完记得将mapred-site.xml.template改名为mapred-site.xml(我的是已经改完名字的)

4)D:Hadoophadoop-2.7.7etchadoop下的yarn-site.xml文件

<configuration>

<!-- Site specific YARN configuration properties -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
</configuration>

5)E:Hadoophadoop-2.7.7etchadoop下的hadoop-env.cmd文件

在文件的最后添加如下语句

@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=D:Java1.8jdk1.8.0_181

set JAVA_HOME=该机器的jdk环境变量

 8:格式化HDFS

 9:开启四个进程

管理员身份打开CMD,切换到D:Hadoophadoop-2.7.7sbin目录下,输入命令:start-all.cmd

如果cd D:Hadoophadoop-2.7.7sbin无法切换到sbin 可以使用如下命令 

 10:使用jps命令查看启动是否成功

11:测试Hadoop DFS 

打开浏览器,在地址栏输入http://localhost:50070查看Hadoop状态

​​​​​​​

 12:http://localhost:8088查看集群状态

13:结束。安装成功