odps是什么?

ODPS（Open Data Processing Service），原是阿里云从 09年开始自研的大规模批量计算引擎，2016 年更名为MaxCompute。2022云栖大会上，阿里云ODPS全新升级为一体化大数据平台，存储、调度、元数据一体化融合 ，从 Processing 升级为 Platform，即 Open Data Platform and Service。提供了离线计算、实时交互式分析、机器学习等可扩展的智能计算引擎，满足用户多元化数据计算需求。
ODPS升级为一体化大数据平台

11月3日 2022云栖大会上 阿里巴巴集团副总裁、阿里云计算平台事业部负责人贾扬清表示 为满足用户多元化数据计算需求 阿里云ODPS升级为一体化大数据平台。

升级后的ODPS支持大规模批量计算、实时分析等服务 提供实时流式计算、机器学习等多种计算能力 可同时调度超10万台以上服务器规模进行并行计算。从09年开始自研的ODPS 平台也是目前中国应用最为广泛的一体化大数据平台。

ODPS升级 存储、调度、元数据一体化融合

随着数据技术和数据应用的发展 催生了多元计算需求。贾扬清介绍 例如交通领域 需要实时数据计算 来做城市大脑里面人流车流的优化 科研方面 需要AI算法辅助传统物理化学生物研究创新 保险领域 需要大量数据聚合来进行更准确的风险精算。 ODPS实现了存储、调度、元数据管理上的一体化架构融合 支撑上述各类数据的高效处理。

自2009年诞生以来 ODPS从突破单集群规模到通过单层隔离打造金融级云上安全 为突破业界难攻的技术难点而不断升级架构。2017年 ODPS将大规模批处理引擎MaxCompute以独立产品形式对外提供服务。2019年 应对数据实时交互分析的需求 交互式计算引擎Hologres正式上线。

在刚刚公布的TPC-H 30000GB基准测试中 ODPS-Hologres刷新世界纪录 分数超过2786万分 领先第二名23%。ODPS-MaxCompute则在TPCx-BB 100TB标准测试中 连续6年保持性能和性价比第一。

ODPS-MaxCompute

ODPS-MaxCompute 是阿里巴巴通用计算平台提供的一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案 MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型 能够更快速的解决用户海量数据计算问题 有效降低企业成本 并保障数据安全。

同时 大数据开发套件和 MaxCompute关系紧密 大数据开发套件为 MaxCompute 提供了一站式的数据同步 任务开发 数据工作流开发 数据管理和数据运维等功能 您可以参见 大数据开发套件简介 来对其进行深入了解。

MaxCompute 主要服务于批量结构化数据的存储和计算 可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。随着社会数据收集手段的不断丰富及完善 越来越多的行业数据被积累下来。数据规模已经增长到了传统软件行业无法承载的海量数据(百 GB、TB 乃至 PB)级别。

在分析海量数据场景下 由于单台服务器的处理能力限制 数据分析者通常采用分布式计算模式。但分布式的计算模型对数据分析人员提出了较高的要求 且不易维护。使用分布式模型 数据分析人员不仅需要了解业务需求 同时还需要熟悉底层计算模型。

MaxCompute 的目的是为用户提供一种便捷的分析处理海量数据的手段。用户可以不必关心分布式计算细节 从而达到分析大数据的目的。

MaxCompute 已经在阿里巴巴集团内部得到大规模应用 例如 大型互联网企业的数据仓库和 BI 分析、网站的日志分析、电子商务网站的交易分析、用户特征和兴趣挖掘等。

MaxCompute 发展历程

从 2009 年 9 月阿里云成立 愿景就是做运算/分享数据第一平台 2010年4月 伴随阿里金融的贷款业务上线 ODPS 正式投入生产运行 2012 年建立统一数据平台 2013 年具备超大规模海量数据处理能力 2014~2015 年大数据平台开始日趋成熟 2016 MaxCompute 2.0 的诞生 成立之初的愿景经过一步步努力逐步实现。

关键性里程碑

2009年9月 ODPS 即现在的MaxCompute 大数据平台飞天项目正式启动。
2010年10月 阿里巴巴集团自主研发的第一代云计算平台稳定运行。
2013年8月 平台的单集群规模已达到5000台。
2014年7月 平台开始对外提供服务 完全替换开源体系。
2015~2018年 平台开始日趋成熟 ODPS更名为MaxCompute。单集群已过万台 性能再优化 实现了全球部署。

MaxCompute 组件数据通道 TUNNEL 提供高并发的离线数据上传下载服务。用户可以使用 Tunnel 服务向 MaxCompute 批量上传或下载数据。MaxCompute Tunnel 仅提供 Java 编程接口供用户使用。计算及分析任务 SQL MaxCompute 只能以表的形式存储数据 并对外提供了 SQL 查询功能。用户可以将 MaxCompute 作为传统的数据库软件操作 但其却能处理TB、PB级别的海量数据。需要注意的是 MaxCompute SQL 不支持事务、索引及 Update/Delete 等操作 同时 MaxCompute 的 SQL 语法与 Oracle MySQL 有一定差别 用户无法将其他数据库中的 SQL 语句无缝迁移到 MaxCompute 上来。此外 在使用方式上 MaxCompute SQL 最快可以在分钟 乃至秒级别完成查询 无法在毫秒级别返回用户结果。MaxCompute SQL 的优点是对用户的学习成本低 用户不需要了解复杂的分布式计算概念。具备数据库操作经验的用户可以快速熟悉 MaxCompute SQL 的使用。UDF 即用户自定义函数。MaxCompute 提供了很多 内建函数 来满足用户的计算需求 同时用户还可以通过创建自定义函数来满足不同的计算需求。MapReduce MapReduce 最早是由 Google 提出的分布式数据处理模型 随后受到了业内的广泛关注 并被大量应用到各种商业场景中。在本文档中 我们会对 MapReduce 模型做简要介绍 以便于用户快速熟悉、了解该模型。使用 MaxCompute MapReduce 的用户需要对分布式计算概念有基本了解 并有相对应的编程经验。MaxCompute MapReduce 为用户提供 Java 编程接口。Graph MaxCompute 提供的 Graph 功能是一套面向迭代的图计算处理框架。图计算作业使用图进行建模 图由点 (Vertex) 和边 (Edge) 组成 点和边包含权值 (Value)。通过迭代对图进行编辑、演化 最终求解出结果 典型应用 PageRank 单源最短距离算法 K-均值聚类算法 等。SDK 提供给开发者的工具包 SDK 的相关介绍请参见 SDK介绍。安全 MaxCompute 提供了功能强大的安全服务 为用户的数据安全提供保护 详情请参见 安全参考手册。ODPS-MaxCompute全套攻略https://yq.aliyun.com/articles/78108了解更多 ODPS 相关的内容 请访问阿里云大数据官网
如何通过Flink将Iceberg表数据写入到阿里云OSS 本文详细介绍了如何通过Flink将数据导入到iceberg+oss数据湖中，这里我们不需要依赖任何的定制化工具，只需要通过开源的产品就能实现哦。
使用EMR SQL 批处理Tablestore 通过在E-MapReduce集群中使用Spark SQL访问表格存储。对于批计算，Tablestore on Spark提供索引选择、分区裁剪、Projection列和Filter下推、动态指定分区大小等功能，利用表格存储的全局二级索引或者多元索引可以加速查询。 ## 前提条件 - 已创建E-MapReduce Hadoop集群。具体操作，请参见[创建集群](https://help.al
使用EMR SQL 流处理 Tablestore 通过在E-MapReduce集群中使用Spark SQL访问表格存储。对于流计算，基于通道服务，利用CDC（数据变更捕获）技术完成Spark的mini batch流式消费和计算，同时提供了at-least-once一致性语义。 ## 前提条件 - 已创建E-MapReduce Hadoop集群。具体操作，请参见[创建集群](https://help.aliyun.com/document_
DLA支持MaxCompute(ODPS)数据源 DLA支持MaxCompute(ODPS)数据源 1. 概述 支持功能包括： MaxCompute（ODPS）的数据查询，目前复杂数据类型以字符串形式返回； 一条命令同步对应project下的所有表。
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。
隐林 阿里云大数据产品专家，擅长MaxCompute、机器学习、分布式、可视化、人工智能等大数据领域；