zl程序教程

您现在的位置是:首页 >  其他

当前栏目

深入理解Spark:核心思想与源码分析. 3.14 将SparkContext标记为激活

2023-03-09 22:24:48 时间

3.14 将SparkContext标记为激活

SparkContext初始化的最后将当前SparkContext的状态从contextBeingConstructed(正在构建中)改为activeContext(已激活),代码如下。

SparkContext.setActiveContext(this, allowMultipleContexts)

setActiveContext方法的实现如下。

private[spark] def setActiveContext(

        sc: SparkContext,

        allowMultipleContexts: Boolean): Unit = {

    SPARK_CONTEXT_CONSTRUCTOR_LOCK.synchronized {

        assertNoOtherContextIsRunning(sc, allowMultipleContexts)

        contextBeingConstructed = None

        activeContext = Some(sc)

    }

}