Databricks连城：Spark打造一体化大数据流水线

2014年7月25日-26日，由51CTO传媒主办的2014 WOT全球软件技术峰会在北京富力万丽酒店召开。秉承专注技术、服务技术人员的理念，自2012年以来，WOT品牌峰会成功举办了三届，积累了大量的技术专家资源，获得了广大IT从业者和技术爱好者的一致认可，成为了业界重要的技术分享交流平台以及人脉拓展平台。

本次会议分为8个技术主题，分别是：数据库技术与应用，互联网架构分析，高效的技术团队，敏捷开发，实时计算与数据分析，移动应用，自动化运维，开源技术。51CTO作为本次峰会的主办方，将全程视频、图文直播报道这场数据的盛宴。

作为实时计算与数据分析专场“干货分享”的讲师， Databricks工程师连城先生为我们带来了主题为《Spark SQL：一体化大数据流水线的重要拼图》的主题演讲。分享了Spark技术在大数据分析中的应用现状及展望。 

连城老师目前专注于以Spark为主的大数据分析系统，Spark SQL为Spark提供了原生的SQL关系查询能力，并进一步增强了Spark操纵结构化数据的能力。演讲伊始，连城率先分享了当今大数据的问题以及数据分析流程，通常的做法是在hadoop之上刻画框架。因此所有流程是基于HDFS，所得到的是有效的数据处理结果占比全部数据处理的比例并不高。

基于Spark的统一的大数据分析组件

弹性分布式数据集可以有效地解决这一问题，Spark开源实现高速、兼容性、接口易用、程序精简等优势。

以上是51CTO.com记者从一线为您带来的精彩报道。后续我们还有更加精彩的独家报道，敬请关注。