zl程序教程

您现在的位置是:首页 >  硬件

当前栏目

第31课:彻底解密Spark 2.1.X中Shuffle中内存管理源码解密:StaticMemory和UnifiedMemory

内存源码解密Spark 管理 2.1 彻底 31
2023-09-27 14:26:48 时间

第31课:彻底解密Spark 2.1.X中Shuffle中内存管理源码解密:StaticMemory和UnifiedMemory

 大数据的事情只需关注2个平台:spark,tensorFlow(图像,深度学习)

本文根据家林大神系列课程编写 http://weibo.com/ilovepains


内存管理MemoryManager属于spark框架内部的, 包含2种类型:
1,统一内存管理 UnifiedMemoryManager 属于框架内部private[memory]
2,静态内存StaticMemoryManager  

1,统一内存管理 UnifiedMemoryManager

private[spark] class UnifiedMemoryManager private[memory] (
    conf: SparkConf,