Spark History Server配置使用
2023-09-27 14:19:38 时间
1、Spark History Server的作用
在运行Spark应用程序的时候,driver会提供一个webUI用于展现应用程序的运行信息,但是该webUI随着应用程序的完成而关闭端口。也就是说,这个服务是伴随Spark应用程序的运行周期的,也就是当应用程序运行完成后,将无法查看应用程序的历史记录。Spark History Server就是为了应对这种情况而产生的,通过配置,Spark应用程序在运行完应用程序之后,将应用程序的运行信息写入指定目录,而Spark history server可以将这些运行信息装载并以web的方式供用户浏览
伴随Spark应用程序而启动的web查看服务的默认端口号是4040,或者4041(如果当前端口被占用,比如4040被占用,那么Spark会抛一个异常,但是不影响应用继续运行,driver会使用这个已用的端口加1,以此类推)
2、配置&使用Spark History Server
(1)修改yarn-site.xml(需要重启所有NodeManager生效)
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
用命令查看日志
bin/yarn logs –applicationId application_xxxx_xxx(只能查看运行完之后的作业日志)
(2)修改yarn-site.xml(需要重启所有NodeManager生效)
<property> <name>yarn.log.server.url</name> <value>http://scbnode1:19888/jobhistory/logs</value> </property>
(3)修改conf/spark-default.conf(下面的目录/tmp/spark/events事先在HDFS创建好)
spark.yarn.historyServer.address=scbnode1:18080 spark.history.ui.port=18080 spark.eventLog.enabled=true spark.eventLog.dir=hdfs://scbnode1:9000/tmp/spark/events spark.history.fs.logDirectory=hdfs://scbnode1:9000/tmp/spark/events
(4)启动Spark History Server
sbin/start-history-server.sh
(5)Spark History Server地址
http://scbnode1:18080/
相关文章
- 探讨SQL Server并发处理存在就更新七种解决方案
- Windows Server实例防火墙策略的配置方法
- SQL Server此数据库没有有效所有者
- [转] webpack3最新版本配置研究(五) devtool,webpack-dev-server,CommonsChunkPlugin
- 通过fluentd配置输出到elasticsearch,启动服务报错 Using Elasticsearch client 8.4.0 is not compatible for your Elasticsearch server
- 解决游戏server负载上限问题
- ubuntu server 安装 mantis bug tracker 中文配置
- Sql 2005安装问题,因为WMI配置,无法执行Sql Server 系统配置检查器的解决办法!
- nginx隐藏版本号server_tokens
- docker pull 失败: server misbehaving
- 《PowerShell V3——SQL Server 2012数据库自动化运维权威指南》——2.5 列出SQL Server配置设置
- Spring cloud Zipkin 链路追踪安装配置和使用,SpringCloud Zipkin server 下载安装
- 护卫神镜像系统如何安装SQL SERVER?
- Windows Server 2008关闭internet explorer增强的安全配置
- bittorrent tracker server list
- Ubuntu Server 12.04 静态IP简洁配置
- Linux搭建SVN server
- 最小配置启动SQL SERVER,更改SQL Server最大内存大小导致不能启动的解决方法
- Sql Server索引的原理与应用
- 在nginx中配置如何防止直接用ip访问服务器web server及server_name特性讲解
- SQL Server 计划作业
- SQL Server服务准则修改,微软希望开发者积极进行累积性更新
- IDE连接MySQL报错:Server returns invalid timezone. Go to ‘Advanced‘ tab and set ‘serverTimezone‘ property