Spark UI (6) - SQL页面
2023-06-13 09:11:58 时间
SQL页面展示了作业执行Spark SQL的情况, 它会按SQL层面展示一条SQL在Spark中如何解析并执行的。
SQL详情页面会展示SQL在spark中执行的具体计划(DAG图):
INSERT OVERWRITE TABLE `${target.table}`
select t1.report_date,
t2.cooperation_type,
t1.grid_poi_id,
t1.diff_qty
from mart_grocery.fact_sc_gms_diff_report t1
left join mart_grocery.dim_op_poi t2
on t1.grid_poi_id=t2.poi_id
where t1.dt = '20220410'
下方的Details会展示SQL在Spark中如何解析并优化的:
FAQ
1.检查分区过滤条件是否生效
如果输入表是分区表, 且只需要读部分分区时,我们可以观察对应的HiveTableScan是否有分区字段的过滤条件, 如果有代表只会读取符合条件的分区数据, 如果没有作业会全量分区。
2.ETL任务Stage和DAG的对应关系
通过stage DAG图中的coordinator id可以找到在SQL页面对应的位置, 例如:
相关文章
- 使用druid的工具包改sql的库名,实现单实例分库
- 修改SQL-SERVER数据库表结构的SQL命令附sql命令行修改数据库
- Spark-Sql源码解析之六 PrepareForExecution: spark plan -> executed Plan详解大数据
- Spark-Sql源码解析之二 Sqlparser:sql –> unresolved logical plan详解大数据
- MySQL查看和打印SQL语句(mysql打印sql语句)
- Linux运行 SQL: 获取自动化数据操作能力(linux执行sql)
- 导入MySQL导入SQL文件的简易步骤(mysql将sql文件)
- 掌握SQL语句, 打开Oracle大门(sql语句oracle)
- Oracle与SQL的不同之处(oracle和sql区别)
- 「MySQL 教程」学习如何拼接 SQL 语句,让你的操作更灵活高效(mysql拼接sql语句)
- 如何优化SQL访问Oracle数据库?(sql访问oracle)
- SQL Server中的换行粒度控制(换行sqlserver)
- 化利用SQL Server提升表格格式化效果(sqlserver表格式)
- 了解SQL Server中的序列建立(sqlserver建序列)
- 类型使用SQL Server实数类型算出精确结果(sqlserver实数)
- 值SQL Server中取得最小值的方法(sqlserver取最小)
- SQL数据同步MySQL的详细步骤和注意事项(sql同步mysql)
- MySQL SQL数据库管理神器(mysql。sql)
- 运行oracle,解决SQL锁定的技巧(oracle sql锁)
- MySQL存储过程中执行动态SQL语句的方法