【大数据】spark远程debug
2023-09-11 14:21:26 时间
org.apache.spark.launcher.Main
LAUNCH_CLASSPATH=“dt_socket,server=y,suspend=y,address=8888”
spark-submit
在conf下建立一个文件 java-opts
-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888
spark-driver
–driver-java-options “-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888”
spark.driver.extraJavaOptions “-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888”
spark-executor
–executor-java-options “-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888”
spark.executor.extraJavaOptions=“-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888”
相关文章
- (尚049)Vue_源码分析_数据代理_效果+(尚050)Vue_源码分析_数据代理_效果_debug+(尚051)Vue_源码分析_数据代理_分析
- sql 查询-字段里是逗号,分隔开的数组，查询匹配数据
- Apache Spark机器学习.2.4 数据集重组
- 《Spark大数据分析：核心概念、技术及实践》大数据技术一览
- oracle 覆盖导入数据
- 【Analytics Kit】【FAQ】集成华为分析服务问题集合 SDK初始化失败/应用调试界面没有数据/常见错误提示
- Spark GraphX 的数据可视化
- Hadean完成260万美元融资，将颠覆 Spark、Hadoop等大数据框架
- Flutter教程之如何使用 SQLite 数据库在 Flutter 中保存大数据
- 大数据学习——spark学习
- 大数据计算平台Spark内核解读
- kerberos环境下spark读取kafka写hbase，Spark on YARN + Secured hbase
- 上：Spark VS Flink – 下一代大数据计算引擎之争，谁主沉浮？
- 浏览器json数据格式化
- Spark大数据实战之二：安装Hadoop
- Spark大数据实战之五：Spark安装
- mindspore.ops.Pow()等算子不能处理float64类型的数据
- Spark Streaming读取Kafka数据的两种方式
- Access获取新插入数据的自增长主键Id
- 阿里收豌豆荚想打“大数据+精品”牌突围？
- 创新驱动生态发展 用“大数据”记录生态足迹
- 白云区“项目云”大数据平台建成
- 基于Hadoop的大数据平台实施记——整体架构设计[转]
- Spark向HDFS中存储数据
- Spark从HDFS上读取JSON数据
- spark streaming 接收 kafka 数据java代码WordCount示例
- 如何做到ERP基础数据的整理？
- 大数据那些事:从Spark到Spark
- Spark 数据倾斜
- 【大数据】Spark开源REST服务--Apache Livy的安装和使用
- pandas_使用透视表与交叉表查看业绩汇总数据
- 大数据编程实验一：HDFS常用操作和Spark读取文件系统数据
- 技管结合系好大数据“安全带”