windows安装hadoop教程,带截图
1:下载hadoop资源,链接:https://pan.baidu.com/s/19KVtjOCCwu9bEleRCWNGWA
提取码:6666
2:解压hadoop资源,我是解压到D盘根目录
3:配置系统变量和环境变量
变量名:HADOOP_HOME
变量值:D:Hadoophadoop-2.7.7(根据个人解压目录填写)
环境变量值:%HADOOP_HOME%in
4:测试配置是否成功
打开cmd,输入hadoop,如果出现下图则配置成功
5:将D:Hadoophadoop-2.7.7inhadoop.dll移动到D:Hadoophadoop-2.7.7sbin以及C:WindowsSystem32
这两个目录下。
6:创建目录
修改之前先创建以下几个空目录:
D:Hadoophadoop-2.7.7data
D:Hadoophadoop-2.7.7datadfs
D:Hadoophadoop-2.7.7datadfsdatanode
D:Hadoophadoop-2.7.7datadfs
amenode
7:修改配置文件
1)D:Hadoophadoop-2.7.7etchadoop
下的core-site.xml文件。
打开该文件,找到如下位置。
将<configuration>
</configuration> 改为如下内容
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
2)D:Hadoophadoop-2.7.7etchadoop
下的hdfs-site.xml文件。
注意路径改为压缩后的路径
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>localhost:50070</value>
</property>
<property>
<name>dfs.namenode.dir</name>
<value>/D:/Hadoop/hadoop-2.7.7/data/dfs/namenode</value>
</property>
<property>
<name>dfs.datanode.name.dir</name>
<value>/D:/Hadoop/hadoop-2.7.7/data/dfs/datanode</value>
</property>
</configuration>
3)D:Hadoophadoop-2.7.7etchadoop
下的mapred-site.xml.template文件。
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
</configuration>
改完记得将mapred-site.xml.template改名为mapred-site.xml(我的是已经改完名字的)
4)D:Hadoophadoop-2.7.7etchadoop
下的yarn-site.xml文件
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
5)E:Hadoophadoop-2.7.7etchadoop
下的hadoop-env.cmd文件
在文件的最后添加如下语句
@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=D:Java1.8jdk1.8.0_181
set JAVA_HOME=该机器的jdk环境变量
8:格式化HDFS
9:开启四个进程
以管理员身份打开CMD,切换到D:Hadoophadoop-2.7.7sbin
目录下,输入命令:start-all.cmd
如果cd D:Hadoophadoop-2.7.7sbin无法切换到sbin 可以使用如下命令
10:使用jps命令查看启动是否成功
11:测试Hadoop DFS
打开浏览器,在地址栏输入http://localhost:50070
查看Hadoop状态
12:http://localhost:8088
查看集群状态
13:结束。安装成功
相关文章
- 【技术种草】cdn+轻量服务器+hugo=让博客“云原生”一下
- CLB运维&运营最佳实践 ---访问日志大洞察
- vnc方式登陆服务器
- 轻松学排序算法:眼睛直观感受几种常用排序算法
- 十二个经典的大数据项目
- 为什么使用 CDN 内容分发网络?
- 大数据——大数据默认端口号列表
- Weld 1.1.5.Final,JSR-299 的框架
- JavaFX 2012:彻底开源
- 提升as3程序性能的十大要点
- 通过凸面几何学进行独立于边际的在线多类学习
- 利用行动影响的规律性和部分已知的模型进行离线强化学习
- ModelLight:基于模型的交通信号控制的元强化学习
- 浅谈Visual Source Safe项目分支
- 基于先验知识的递归卡尔曼滤波的代理人联合状态和输入估计
- 结合网络结构和非线性恢复来提高声誉评估的性能
- 最佳实践丨云开发CloudBase多环境管理实践
- TimeVAE:用于生成多变量时间序列的变异自动编码器
- 具有线性阈值激活的神经网络:结构和算法
- 内网渗透之横向移动 -- 从域外向域内进行密码喷洒攻击