大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day28】——Spark15+数据倾斜1

本栏目大数据开发岗高频面试题主要出自大数据技术专栏的各个小专栏,由于个别笔记上传太早,排版杂乱,后面会进行原文美化、增加。

文章目录

• 面试题 01、 介绍一下你对Unified Memory Management内存管理模型的理解？(了解)
• 面试题02、Spark的数据本地性有哪几种？
• 面试题03、数据倾斜是什么？
• 面试题04、如何定位数据倾斜？
• 面试题05、数据倾斜的几种典型情况？
• 总结

停 不要往下滑了，

默默想5min，

看看这5道面试题你都会吗？

面试题01、介绍一下你对Unified Memory Management内存管理模型的理解？(了解)
面试题02、Spark的数据本地性有哪几种？
面试题03、数据倾斜是什么？
面试题04、如何定位数据倾斜？
面试题05、数据倾斜的几种典型情况？

以下答案仅供参考：

面试题 01、 介绍一下你对Unified Memory Management内存管理模型的理解？(了解)

Spark中的内存使用分为两部分：执行（execution）与存储（storage）。

执行内存主要用于shuffles、joins、sorts和aggregations，存储内存则用于缓存或者跨节点的内部数据传输。1.6之前，

对于一个Executor，内存都由以下部分构成：

1）ExecutionMemory。这片内存区域是为了解决 shuffles,joins, sorts and aggregations 过程中为了避免频繁IO需要的buffer。通过spark.shuffle.memoryFraction(默认 0.2) 配置。

2）StorageMemory。这片内存区域是为了解决 block cache(就是你显示调用rdd.cache, rdd.persist等方法), 还有就是broadcasts,以及task results的存储。可以通过参数 spark.storage.memoryFraction(默认0.6)设置。

3）OtherMemory。给系统预留的，因为程序本身运行也是需要内存的(默认为0.2)。

传统内存管理的不足：

1）Shuffle占用内存0.2*0.8，内存分配这么少，可能会将数据spill到磁盘，频繁的磁盘IO是很大的负担，Storage内存占用0.6，主要是为了迭代处理。传统的Spark内存分配对操作人的要求非常高。（Shuffle分配内存：ShuffleMemoryManager, TaskMemoryManager, ExecutorMemoryManager）一个Task获得全部的Execution的Memory，其他Task过来就没有内存了，只能等待；

2）默认情况下，Task在线程中可能会占满整个内存，分片数据

面试题02、Spark的数据本地性有哪几种？

Spark中的数据本地性有三种：

1）PROCESS_LOCAL是指读取缓存在本地节点的数据

2）NODE_LOCAL是指读取本地节点硬盘数据

3）ANY是指读取非本地节点数据 通常读取数据PROCESS_LOCAL>NODE_LOCAL>ANY，尽量使数据以PROCESS_LOCAL或NODE_LOCAL方式读取。其中PROCESS_LOCAL还和cache有关，如果RDD经常用的话将该RDD cache到内存中，注意，由于cache是lazy的，所以必须通过一个action的触发，才能真正的将该RDD cache到内存中。

面试题03、数据倾斜是什么？

数据倾斜指的是，并行处理的数据集中，某一部分（如Spark或Kafka的一个Partition）的数据显著多于其它部分，从而使得该部分的处理速度成为整个数据集处理的瓶颈。

数据倾斜两大直接致命后果。

1、数据倾斜直接会导致一种情况：Out Of Memory。

2、运行速度慢。 主要是发生在Shuffle阶段。同样Key的数据条数太多了。导致了某个key(下图中的80亿条)所在的Task数据量太大了。远远超过其他Task所处理的数据量。 一个经验结论是：一般情况下，OOM的原因都是数据倾斜

面试题04、如何定位数据倾斜？

数据倾斜一般会发生在shuffle过程中。

很大程度上是你使用了可能会触发shuffle操作的算子：distinct、groupByKey、reduceByKey、aggregateByKey、join、cogroup、repartition等。 原因：查看任务->查看Stage->查看代码 某个task执行特别慢的情况 某个task莫名其妙内存溢出的情况 查看导致数据倾斜的key的数据分布情况

也可从以下几种情况考虑：

1、是不是有OOM情况出现，一般是少数内存溢出的问题

2、是不是应用运行时间差异很大，总体时间很长

3、需要了解你所处理的数据Key的分布情况，如果有些Key有大量的条数，那么就要小心数据倾斜的问题

4、一般需要通过Spark Web UI和其他一些监控方式出现的异常来综合判断

5、看看代码里面是否有一些导致Shuffle的算子出现

面试题05、数据倾斜的几种典型情况？

1 数据源中的数据分布不均匀，Spark需要频繁交互

2 数据集中的不同Key由于分区方式，导致数据倾斜

3 JOIN操作中，一个数据集中的数据分布不均匀，另一个数据集较小（主要）

4 聚合操作中，数据集中的数据分布不均匀（主要）

5 JOIN操作中，两个数据集都比较大，其中只有几个Key的数据分布不均匀

6 JOIN操作中，两个数据集都比较大，有很多Key的数据分布不均匀

7 数据集中少数几个key数据量很大，不重要，其他数据均匀

注意： 1、需要处理的数据倾斜问题就是Shuffle后数据的分布是否均匀问题 2、只要保证最后的结果是正确的，可以采用任何方式来处理数据倾斜，只要保证在处理过程中不发生数据倾斜就可以

总结

今天我们复习了面试中常考的Spark相关的五个问题，你做到心中有数了么？