hadoop中的Jobhistory历史服务器
2023-09-14 08:57:20 时间
1. 启动脚本
mr-jobhistory-daemon.sh start historyserver
2. 配置说明
jobhistory用于查询每个job运行完以后的历史日志信息,是作为一台单独的服务器运行的。可以在namenode或者datanode上的任意一台启动即可。
默认的配置如下,但是需要手工修改为我们指定的那台服务器。
<property> <name>mapreduce.jobhistory.address</name> <value>0.0.0.0:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>0.0.0.0:19888</value> </property>
参数配置在mapred-site.xml文件中。如果将history服务器配置在namenode2中,修改如下:
<property> <name>mapreduce.jobhistory.address</name> <value>dwtest-name2:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>dwtest-name2:19888</value> </property>
3.日志存储过程
jobhistory server来实现web查看作业的历史运行情况,日志存储的位置是在hdfs文件系统中。
当job作业在运行中时,可以直接通过web查看作业的运行状况, 此时的记录保存在${mapreduce.intermediate-done-dir} 路径下。
当job作业执行完成后,会将${mapreduce.intermediate-done-dir}目录下的日志文件移动到历史文件夹${mapreduce.jobhistory.done-dir}中。
${mapreduce.intermediate-done-dir} 和 ${mapreduce.jobhistory.done-dir} 在mapred-site.xml中配置。
如果没有启动jobhistory进程,就无法查看历史执行的明细信息。
当由于在启动hdfs和Yarn进程之后,jobhistoryserver进程并没有启动,需要手动启动。
注意: jobhistory是一个单一的历史服务器,不需要在集群中启动多个服务。使用时,需要在配置文件中指定一个服务器,然后启动historyserver服务。
相关文章
- Hadoop源码学习
- 高可用Hadoop平台-答疑篇
- 0基础搭建Hadoop大数据处理-环境
- Hadoop的环境搭建,和编写一个简单的hadoop job
- Hadoop 使用自动化脚本启动hdfs和yarn
- hadoop 编码实现文件传输、查看等基本文件控制
- 【Hadoop基础】hadoop fs 命令
- ubuntu 14.04 hadoop eclipse 0配置基本环境
- 在Hadoop中重写FileInputFormat类以处理二进制格式存储的整数
- 一脸懵逼学习Hadoop分布式集群HA模式部署(七台机器跑集群)
- Hadoop MapReduce执行过程详解(带hadoop例子)
- Hive数据导入——数据存储在Hadoop分布式文件系统中,往Hive表里面导入数据只是简单的将数据移动到表所在的目录中!
- 大数据Hadoop之——Azkaban API详解
- 102_Hadoop常用命令
- hadoop入门(八):配置历史服务器与查看
- 【大数据开发运维解决方案】Hadoop+Hive+HBase+Kylin 伪分布式安装指南