Spark性能调优
spark 性能调优（一） 性能调优的本质、spark资源使用原理、调优要点分析详解大数据
一、大数据性能调优的本质 编程的时候发现一个惊人的规律，软件是不存在的！所有编程高手级别的人无论做什么类型的编程，最终思考的都是硬件方面的问题！最终思考都是在一秒、一毫秒、甚至一纳秒到底是如何运行的，并且基于此进行算法实现和性能调优，最后都是回到了硬件！ 在大数据性能的调优，它的本质是硬件的调优！即基于 CPU(计算)、Memory(存储)、IO-Disk/ Network(数据交互
日期 2023-06-12 10:48:40
spark性能调优（二） 彻底解密spark的Hash Shuffle详解大数据
Spark HashShuffle 是它以前的版本，现在1.6x 版本默应是 Sort-Based Shuffle，那为什么要讲 HashShuffle 呢，因为有分布式就一定会有 Shuffle，而且 HashShuffle 是 Spark以前的版本，亦即是 Sort-Based Shuffle 的前身，因为有 HashShuffle 的不足，才会有后续的 Sorted-Based S
日期 2023-06-12 10:48:40
Spark性能调优之资源分配
**性能优化王道就是给更多资源！**机器更多了，CPU更多了，内存更多了，性能和速度上的提升，是显而易见的。基本上，在一定范围之内ÿ
日期 2023-06-12 10:48:40Spark常规性能调优一：最优资源配置
Spark 性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后
日期 2023-06-12 10:48:40Spark常规性能调优二：RDD 优化
RDD 复用 在对 RDD 进行算子时，要避免相同的算子和计算逻辑之下对 RDD 进行重复的计算 对上图中的 RDD 计算架构进行修改，得到如下图所示的优化结果： RDD
日期 2023-06-12 10:48:40Spark常规性能调优三：并行度调节
Spark 作业中的并行度指各个 stage 的 task 的数量。 如果并行度设置不合理而导致并行度过低，会导致资源的极大浪费，例如，20 个 Executor，每个
日期 2023-06-12 10:48:40spark性能优化调优指导性文件
1.让我们看一下前面的核心参数设置： num-executors=10||20，executor-cores=1||2，executor-memory=10
日期 2023-06-12 10:48:40Spark性能调优之广播变量
一、背景 举例来说，（虽然是举例，但是基本都是用我们实际在企业中用的生产环境中的配置和经验来说明的）。50个executor，1000个task。一个ma
日期 2023-06-12 10:48:40
Spark的性能调优杂谈
下面这些关于Spark的性能调优项，有的是来自官方的，有的是来自别的的工程师，有的则是我自己总结的。 基本概念和原则 <1> 每一台host上面可以并行N个worker，每一个worker下面可以并行M个executor，task们会被分配到executor上面 去执行。Stage指的是一组并行运行的task，stage内部是不能出现shuffle的，因为shuffle的
日期 2023-06-12 10:48:40
Spark Streaming性能调优详解（转）
原文链接：Spark Streaming性能调优详解 Spark Streaming提供了高效便捷的流式处理模式，但是在有些场景下，使用默认的配置达不到最优，甚至无法实时处理来自外部的数据，这时候我们就需要对默认的配置进行相关的修改。由于现实中场景和数据量不一样，所以我们无法设置一些通用的配置（要不然Spark Streaming开发者就不会弄那么多参数，直接写死不得了），
日期 2023-06-12 10:48:40## Spark作业性能调优总结
Spark作业性能调优总结 前段时间在集群上运行Spark作业，但是发现作业运行到某个stage之后就卡住了，之后也不再有日志输出。于是开始着手对作业进行调优，下面是遇到的问题和解决过程： 运行时错误 Out Of Memory: Java heap space / GC overhead limit exceeded 使用yarn logs -applicationId=appliat
日期 2023-06-12 10:48:40