第29课：彻底解密Spark 1.6.X以前Shuffle中JVM内存使用及配置内幕详情：Spark到底能够缓存多少数据、Shuffle到底占用了多少数据、磁盘的数据远远比内存小却还是报告内存不足？
2023-09-27 14:26:48 时间
第29课：彻底解密Spark 1.6.X以前Shuffle中JVM内存使用及配置内幕详情：Spark到底能够缓存多少数据、Shuffle到底占用了多少数据、磁盘的数据远远比内存小却还是报告内存不足？
本文根据家林大神系列课程编写 http://weibo.com/ilovepains
1 JVM内存使用架构剖析
2 Spark集群在1.6.x以前中JVM到底可以缓存多少数据？
3 spark集群在1.6.x以前中shuffle JVM到底缓存多少数据？
4 spark on yarn实际计算对内存的使用案例
5 spark1.6.x以前shufflejvm使用配置
1 JVM内存使用架构剖析
JVM 有很多不同的区，最开始的时候，它会通过类装载器把类加载进来，在运行期数据区中有 "本地方法栈"，"程序计数器"，"Java 栈"、"Java 堆"和"方法区"以及本地方法接口和它的本地库。从 Spark 的角度来谈代码的运行和数据的处理，主要是谈 Java 堆 (Heap) 空间的运用。
JVM的体现架构：
- 本地方法栈：这个是在迭归的时候肯定是至关重要的； <
相关文章
- Spark Shuffle 中 JVM 内存使用及配置内幕详情
- JVM内存四大类型：Heap，Stack，Contant，DirectMemory等
- 【JVM】内存区域
- java jvm用到的各种工具
- 为啥要对jvm做优化？
- Confluence 6 系统运行信息中的 JVM 内存使用情况
- Java基础-JVM堆与栈
- [转]JVM系列三:JVM参数设置、分析
- 【JVM】内存结构（中）
- jvm内存JVM学习笔记-引用(Reference)机制
- JVM内存学习 2.0
- Java JVM内存小笔记
- JVM调优01-内存区域分布
- JVM -XX: 参数介绍
- jvm内存查看与分析工具
- 谈一谈JVM内存JAVA_OPTS参数
- 【JVM】JVM系列之内存模型（六）
- 【JVM】JVM系列之垃圾回收（二）
- 大数据必学Java基础（九）：JDK，JRE，JVM的区别
- Java虚拟机(JVM) - 学习总结(全)
- JVM致命错误日志(hs_err_pid.log)分析
- 【jvm我能讲两小时036】64位的jvm，new Object（）新创建的对象在java中占用多少内存？