MaxCompute原(ODPS)创建dual表
创建 MaxCompute Dual ODPS
2023-09-11 14:22:16 时间
大家以前写sql写func的时候习惯性会用from dual 来进行测试,dual表在传统数据库中是一个“神秘”的表,网上有很多网友都对该表进行了测试,该表只有一行一列,其实该表和系统中的其他表一样。
发现odps项目里没有, 然后就手动建了个表。
看上去没啥问题, 我后来运行任何函数, 都没有任何返回值, 我就纳闷了,怎么啥都不对, 后来经高人提点, 是不是你手动建的dual表里没内容,我突然间恍然大悟, 遂了一条数据到第一行中, 再次运行,就有值了。
所以这里也提醒大家:
Func的运行, 表里至少要有一条数据。
Func的运行, 表里至少要有一条数据。
Func的运行, 表里至少要有一条数据。
重要的事情一定要说三遍!!!
-- 删除表 DROP TABLE IF EXISTS dual; -- 创建表 CREATE TABLE IF NOT EXISTS dual ( value BIGINT COMMENT value COMMENT dual; -- 插入一条数据 INSERT OVERWRITE TABLE dual SELECT COUNT(*) FROM dual;
基于pyodps对MaxComputer表的数据探查 本次脚本设计是针对大批量表,并且没有明确业务支持下的数据探查,会根据不同的类型进行判定,根据结果值进行分析得出结论,并给出一定的建议,同时该脚本仅仅支持普通表,一级分区表和二级分区表;一级分区表的分区字段必须是ds或者pt。
基于MaxCompute InformationSchema进行冷门表热门表访问分析 在实际的数据平台运营管理过程中,数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模,数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的使用情况,从而优化数据模型。
MaxCompute表设计最佳实践 MaxCompute表设计最佳实践 产生大量小文件的操作 MaxCompute表的小文件会影响存储和计算性能,因此我们先介绍下什么样的操作会产生大量小文件,从 而在做表设计的时候考虑避开此类操作。 使用MaxCompute Tunnel SDK上传数据,上传过程中,每commit一次就会产生一个文件。
MaxCompute 表(Table)设计规范 表的限制项 表(Table)设计规范 表设计主要目标 表设计的影响 表设计步骤 表数据存储规范 按数据分层规范数据生命周期 按数据的变更和历史规范数据的保存 数据导入通道与表设计 分区设计与逻辑存储的对应 表和分区设计基本规则 分区字段和普通字段的选择 分区字段定义依据 分区个数定义依据 分区数量和数据量建议
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。
隐林 阿里云大数据产品专家,擅长MaxCompute、机器学习、分布式、可视化、人工智能等大数据领域;
相关文章
- Hibernate入门之创建数据库表
- 创建了对嵌入的互操作程序集间接引用,无法嵌入互操作类型
- Flutter 使用Android Studio 创建第一个应用
- 创建Visual studio项目模板 vstemplate关键点纪要
- 【转】VS2013动态库文件的创建及其使用详解
- Btrfs文件系统在Linux中的创建及其特性
- 二、GitHub创建仓并提交项目
- 【Docker学习笔记5Day】-创建Docker镜像
- SQL Server删除/创建复制订阅失败,报15517错误问题的处理
- 【开发工具】Git的简单使用,创建版本库、提交代码、更新代码
- AndroidStudio创建第一个 Flutter 应用程序
- odoo15 实现不允许手动创建和编辑可在tree视图和form视图中添加edit和create设置值为true或false
- 创建型模式--抽象工厂模式
- maven_创建quickstart模板时异常
- IDEA在已经创建好的Maven中指定本地仓库路径