数仓缓慢变化维SCD深度讲解
前言
维度缓慢变化维SCD(Slowly Changing Dimensions)一些维度表的数据不是静态的,而是会随着时间而缓慢地变化(这里的缓慢是相对事实表而言,事实表数据变化的速度比维度表快,如果还不知道什么是事实表和维度表请看→数仓模型设计详细讲解)把处理维度表数据历史变化的问题,称为缓慢变化维问题,简称SCD问题。
举例说明
例如:用根据用户维度,统计不同出生年份的消费金额占比。(80后、90后、00后)。而期间,用户可能去修改用户数据,例如:将出生日期改成了 1992年。此时,用户维度表就发生了变化。当然这个变化相对事实表的变换要慢。但这个用户维度表的变化,就是缓慢变化维。
这个用户的数据不是一直不变,而是有可能发生变化。例如:用户修改了出生日期、或者用户修改了住址。
一、SCD问题的几种解决方案
以下为解决缓慢变化维问题的几种办法:
- 保留原始值
- 改写属性值
- 增加维度新行
- 增加维度新列
- 添加历史表
1.1 保留原始值
某一个属性值绝不会变化。事实表始终按照该原始值进行分组。例如:出生日期的数据,始终按照用户第一次填写的数据为准
1.2 改变属性值
对其相应需要重写维度行中的旧值,以当前值替换。因此其始终反映最近的情况。
当一个维度值的数据源发生变化,并且不需要在维度表中保留变化历史时,通常用新数据来覆盖旧数据。这样的处理使属性所反映的中是最新的赋值。
用户维度表 修改前:
修改后:
- 这种方法有个前提,用户不关心这个数据的变化
- 这样处理,易于实现,但是没有保留历史数据,无法分析历史变化信息
1.3 增加维度新行
数据仓库系统的目标之一是正确地表示历史。典型代表就是拉链表
保留历史的数据,并插入新的数据。
用户维度表 修改前:图片修改后:
1.4 增加维度新列
用不同的字段来保存不同的值,就是在表中增加一个字段,这个字段用来保存变化后的当前值,而原来的值则被称为变化前的值。总的来说,这种方法通过添加字段来保存变化后的痕迹。
用户维度表 修改前:
修改后
1.5 使用历史表
另外建一个表来保存历史记录,这种方式就是将历史数据与当前数据完全分开来,在维度中只保存当前最新的数据。用户维度表
用户维度历史表
这种方式的优点是可以同时分析当前及前一次变化的属性值,缺点是只保留了最后一次变化信息。
思考
我在这里给大家提个场景题,比如我们在淘宝上购买一件商品,从下单-支付-发货-配送-确认收货这个几步流。需求:统计出在发送到配置过程中转了几次?
小结
今天给大家分享了SCD解决方案,但是其实以上的解决方案不是很好,其实数仓有一个非常好的解决缓慢变化维拉链表既保留了历史数据又不会造成数据冗余,拉链表我们下期讲。信自己,努力和汗水总会能得到回报的。我是大数据老哥,我们下期见。
本文转载自微信公众号「大数据老哥」,可以通过以下二维码关注。转载本文请联系大数据老哥公众号。
相关文章
- MySQL的安装(详解)
- SQLite数据库可视化工具【SQLiteStudio】的下载及安装
- MySQL日志篇,MySQL日志之binlog日志,binlog日志详解
- Docker 进入 mysql步骤(备忘)
- B树和B+树的区别
- ERROR 1064 (42000): You have an error in your SQL syntax; check the manual ...
- matlab之fsolve方法求解复杂非线性方程常见问题(入门)
- 在Ubuntu 20.04上安装MySQL教程
- MySQL中索引的定义及操作
- MySQL基础篇——存储过程和函数中的变量
- JDBC详讲Connection与 jdbc-Statement
- mysql 创建索引的三种方式
- 【JavaWeb从入门到实战】MySQL筑基&初探SQL
- Redis下载安装与配置(windows)
- 三分钟了解MySQL慢查询
- Docker安装部署Redis集群
- 卡尔曼滤波——包含C/C++实现方式及MPU6050实例
- GaussDB高斯数据库(SQL语法入门)
- mysql 8.0.32安装 windows server 超详细
- 一文带你吃透数据库的约束,不做CRUD程序员