【spark】spark提交任务后获取applicationId
Spark 获取 任务 提交
2023-09-27 14:29:28 时间
spark提交任务后获取applicationId
public class HiveExercise4 {
public static void main(String[] args) {
SparkSession spark = SparkSession
.builder()
.appName("Hive Exercise")
.master("local")
.config("spark.sql.hive.metastore.version", "2.1.1")
.config("spark.sql.hive.metastore.jars", "/Users/xxx/Documents/datasense资料/lib/*")
.enableHiveSupport()
.getOrCreate();
System.out.println("打印----->>>>> appid=" + spark.sparkContext().applicationId());
String sqlText = "SELECT member_id, phone, register_time FROM di_adm_db_dev.a01_member_indv_info WHERE register_time IS NOT NULL LIMIT 1000";
Dataset<Row> df = spark.sql(sqlText);
df.show(1000);
df.createOrReplaceTempView("source_view");
spark.stop();
}
}
相关文章
- spark任务执行过程中经常性的failed但是任务并没有失败最后总能跑完
- 198 Spark DataFrames创建
- 深入理解Spark:核心思想与源码分析. 1.2 Spark初体验
- 深入理解Spark:核心思想与源码分析. 2.1 初识Spark
- 深入理解Spark:核心思想与源码分析. 3.5 Hadoop相关配置及Executor环境变量
- 用Spark和DBSCAN对地理定位数据进行聚类
- Apache Spark机器学习3.4 模型估计
- Apache Spark机器学习3.5 模型评估
- Spark源码分析 – SparkEnv
- CVE-2020-9480: Apache Spark 远程代码执行漏洞通告
- Spark(二)CentOS7.5搭建Spark2.3.1分布式集群
- Spark on YARN的部署
- Spark Streaming设计
- Running Spark Streaming Jobs on a Kerberos-Enabled Cluster
- 《Spark与Hadoop大数据分析》一一3.3 Spark 程序的生命周期
- 《Spark与Hadoop大数据分析》一一3.4 Spark 应用程序
- 思科Spark平台改变协作技术游戏规则
- Spark:大数据的电花火石!
- spark作业提交参数设置(转)
- 【大数据】spark远程debug