hadoop入门(八):配置历史服务器与查看
2023-09-14 09:14:35 时间
一、配置服务器
1.1 mapred-site.xml配送
cd $HADOOP_HOME/etc/hadoop
vim mapred-site.xml
添加内容:
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop102:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop102:19888</value>
</property>
如下:
说明:
- 将历史服务器mapreduce.jobhistory.address配置在hadoop102:10020内部通讯端口
- 历史服务器对外暴露的接口:用户查看集群里面的历史服务,从web页面查看,这个端口用的hadoop102:19888
先关闭dfs:
stop-dfs.sh
再启动:
start-dfs.sh
如下:
1.2 分发配置
执行分发:
xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml
如下:
1.3 启动历史服务器
执行:
mapred --daemon start historyserver
如下:
1.4 执行测试程序
hadoop fs -mkdir /input
hadoop fs -put wcinput/word.txt /input
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar wordcount /input/word.txt output2
如下:
1.5 查看history
继续回到:http://hadoop103:8088/cluster ,如下,这是个任务历史列表,选择自己对应的:
点击ID:
查看日志:
三、HDFS浏览器删除文件(额外补充)
记录以下删除HDFS文件,前面不小心上传多了,语法如下:
hadoop fs -rm -r -skipTrash 文件地址
例如:
hadoop fs -rm -r -skipTrash /input/container-executor.cfg
再查看:
hadoop fs -ls /input
如下:
相关文章
- Spring学习笔记(三十五)——小技巧:配置全局跨域、全局⽇期格式化、读取本地json
- 试述Hadoop的HDFS及其组成_hadoop命令和hdfs命令区别
- pycharm基础设置_pycharm环境变量配置
- Hadoop入门(八)——本地运行模式+完全分布模式案例详解,实现WordCount和集群分发脚本xsync快速配置环境变量 (图文详解步骤2021)[通俗易懂]
- Hadoop实战_hadoop 项目实战
- linux防火墙的配置和管理(二)
- linux如何配置selenium环境并运行
- Hadoop集群配置(最全面总结)详解大数据
- Hadoop故障处理在高可用(HA)配置下,8088端口无法访问,resourcemanager进程无法启动问题详解大数据
- OpenSessionInViewFilter 的配置及替代方案详解编程语言
- 运行Linux下Hadoop强劲运行:实现数据分析的奇迹(linux下hadoop)
- Hadoop的分布式配置详解编程语言
- Redis与Hadoop:让数据变得更加简单(redis与hadoop)
- MySQL给用户配置授权权限(mysql给用户授权)
- 利用neo4j和Hadoop构建知识图谱(neo4j hadoop)
- CRT实现MySQL数据库配置指南(crt配置 mysql)
- CDH实现MySQL和Hadoop的互通(cdh配置mysql)
- MySQL下载完配置,快速上手管理数据库(mysql下载完配置)
- 无法在Web服务器上启动调试。未将项目配置为进行调试