第30课：Master的注册机制和状态管理解密 课堂笔记

第30课：Master的注册机制和状态管理解密 课堂笔记

一：Master对其它组件注册的处理

         Master接受注册的对象主要就是：Driver、Application、Worker； Executor不会注册给Master，Executor是注册给Driver中的SchedulerBackend的；

Worker是在启动后主动向Master注册的，所以如果在生产环境下加入新的Worker到已经正在运行的Spark集群上，此时不需要重新启动Spark集群就能够使用新加入的Worker以提升处理能力。假如在生产环境中集群中有500台机器，可能又新加入100台机器，这个时候不需要重新启动整个集群，就可以将100台新机器加入到集群。

         Worker的源码：

1.        private[deploy] class Worker(

2.           override val rpcEnv: RpcEnv,

3.           webUiPort: Int,

4.           cores: Int,

5.           memory: Int,

6.           masterRpcAddresses: Array[RpcAddress],

7.           endpointName: String,

8.           workDirPath: String = null,

9.           val conf: Spar