MaxCompute 2.0—从ODPS到MaxCompute

从ODPS到MaxCompute-阿里大数据的进化之路是一个商用大数据系统发展史，一个商业大数据系统要解决的问题有可靠性，高性能，安全性等等六个方面。内部产品名ODPS的MaxCompute，是阿里巴巴内部发展的一个高效能、低成本，完全托管的“EB级”大数据计算服务。
使用DataWorks将PolarDB-X中的数据同步到MaxCompute MaxCompute是适用于数据分析场景的云数据仓库，适用于大型互联网企业的数据仓库和BI分析、网站的日志分析、电子商务网站的交易分析、用户特征和兴趣挖掘等。大数据开发治理平台 DataWorks 基于MaxCompute / EMR / MC-Hologres 等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台。本文介绍 PolarDB-X 与 MaxCompute 系统的快速对接方式，方便您对在线业务数据进行大数据分析。
【MaxCompute 常见问题】 PyODPS 1. PyODPS数据类型如何设置? 如果您使用 PyODPS，可以通过下列方法打开新数据类型开关： 如果通过 execute_sql 方式打开新数据类型，可以执行 o.execute_sql( setodps.sql.type.system.odps2=true;query_sql , hints={ od ps.sql.submit.mode : script })。 如果通过 Dataframe 打开新数据类型
阿里云Dataworks数据集成工具实现：OTS - Maxcompute数据同步 数据集成主要用于离线(批量)数据同步。离线(批量)的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件(Reader)、数据写入插件(Writer)，并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间数据传输。结合用户在使用OTS数据源同步的时候容易出现问题，这里演示：OTS数据源同步数据到Maxcompute的具体实现步骤。
观滔 阿里巴巴通用计算平台首席技术专家，负责MaxCompute产品。加入阿里以前，曾在微软亚洲搜索技术中心和微软美国工作10年，一直从事分布式系统开发和大数据平台的相关工作，是微软大数据平台组的核心成员，该平台规模超过10万台。