zl程序教程

您现在的位置是:首页 >  大数据

当前栏目

胖子哥的大数据之路(8)- 数据仓库命名规范

数据 规范 命名 数据仓库
2023-09-14 08:57:58 时间

引言:

从对大数据的狂热到理性的回归,项目实施起到了醍醐灌顶的作用,大数据技术只能作为一种IT基础架构(存储+运算),而实际的工程化实施,还是要回归到IT传统技术,最近在整合大数据时代的数据仓库框架,希望能有更多的人参与进来。数据仓库实施数据模型的组织,需要引入更多的规则,下面要谈的就是数据仓库数据内容的组织方式。来自TD,可以借鉴到大数据时代的数据仓库建设。

一:基础模型层

       Prefix_Subject_Body_Suffix,其中

       1) Prexfix 为前缀名,表数据库对象;

       2) Subject 为表隶属的主体域;

       3) Body 为主体名,应该能清楚地说明对象的含义;

       4) Suffix 是后缀名,在该对象需分表存放或以历史表方式出现时使用。

       名称的各部分之间以"_"(下划线)连接,各部分中出现的英文字母全部采用大写字母。

二:应用模型层

       Prefix_Func_Topic_Body_Suffix,其中:

       1) Prefix 为前缀名,表示数据库对象类型;

       2) Func 为表隶属功能域名(三位字符缩写);

       3) Topic 为专题名,应该能够清楚地说明各个专题的含义;

       4) Body 为主体名,应该能够清楚地说明对象的含义;

       5) Suffix 是后缀名,在该对象需分表存放或以历史表方式出现时使用。

       名称的各部分之间以"_"(下划线)连接,各部分中出现的英文字母全部采用大写字母。


飞天大数据产品价值解读——SaaS 模式云数据仓库 MaxcCompute(二)| 学习笔记 快速学习飞天大数据产品价值解读——SaaS 模式云数据仓库 MaxcCompute(二),介绍了飞天大数据产品价值解读——SaaS 模式云数据仓库 MaxcCompute(二)系统机制, 以及在实际应用过程中如何使用。
数据仓库(02)数仓、大数据与传统数据库的区别 传统数据库是存储根据范式建模的关系型数据,主要用于OLTP(on-line transaction processing)翻译为联机事务处理的软件。大数据是根据map redurce范式构建的出局处理,存储的软件,主要用于OLAP是做分析处理。大数据和传统数据库,还有一个更大的区别在于,处理的数据量以及计算量的大小,当传统数据库,无法在人可以接受的短时间内计算出结果,那这个数据就叫大数据,需要使用到大数据技术处理。而数据仓库本质上是一种数据的处理方式,而不是一种基础软件,它可以依赖于传统数据库,也可以依赖大数据技术去构建。
【大数据基础实践】(六)数据仓库Hive的基本操作 1. 数据仓库概念 2. Hive简介 2.1 简介 2.2 特性 2.3 生态系统 3. Hive系统架构 4. HQL转成MapReduce作业的原理 4.1 join的实现原理 4.2 group by的实现原理 5. 实验练习 5.1 环境配置 5.1.1 HIVE 5.1.2 MYSQL 5.1.3 配置MySql为hive元数据存储数据库 5.2 Shell进行实验内容 5.2.1 新建一个数据库; 5.2.2 新建表 5.2.3 添加分区 5.2.4 导入grade_zqc 5.2.5 统计男、女生人数 5.2.6 统计每个学生所有科目的总分以及平均分
飞天大数据产品价值解读— SaaS模式云数据仓库MaxCompute 企业在数字化转型过程中面临数据技术平台建设和运营的诸多挑战,随着现代化数据仓库向多功能、服务化方向发展演进,技术侧的变革为解决企业数据平台各项挑战带来新的可能。MaxCompute作为阿里云飞天大数据中的数据仓库产品,已经成为了阿里内部及众多的外部客户广泛使用且高度信赖的企业数据平台。本次直播将为您介绍SaaS模式云数据仓库MaxCompute核心能力及优势,并结合大数据分析平台经典使用场景,为您介绍MaxCompute 为企业带来的业务敏捷性、面向分析统一平台、显著降低TCO等关键业务价值。
胖子哥 数据仓库模型设计专家,主要从事金融,互联网行业广告行业数据架构和数据营销。QQ:1106110976