第46课：Spark中的新解析引擎Catalyst源码初探 SQLContext、Catalog、SqlParser 、analyzer、optimizer、QueryExecution、RDD

第46课：Spark中的新解析引擎Catalyst源码初探

1、入口
val  sc =new SparkContext(conf)
val  sqlcontext =new SQLContext(sc) //sql子框架基于spark context。处理结构化数据的入口。




sqlcontext.scala
2、Catalog初步的处理，例如查询一个表，表中的列开始是不知道的，从unrecognized Logic Plan 到 Logic Plan 中间有一个Catalog的过程。 
  @transient
  protected[sql] lazy val catalog: Catalog = new SimpleCatalog(conf)