数据时代,漫谈数据建模
不管什么样的模型都可以理解为一种预设,比如像一张大宽表,它的维度和指标在大宽表中就是固定的,只是维度列多一些,指标多一些,给了用户更多的一种组合维度和指标的可能,并不是说就没有模型的概念。
在理解了这个概念之后,我们再来讲下什么是商业智能BI的前端建模和后端建模,它们有什么区别和联系。
可视化分析 - 派可数据商业智能BI可视化分析平台
什么是数据模型
数据模型是现实世界或业务逻辑在数据层面的投影,是将数据元素以标准化的模式组织起来,用来模拟现实世界的信息框架和蓝图。
商业智能BI的前端建模
商业智能BI的前端建模可以理解为我们通过BI的前端可视化分析工具来完成数据分析的建模过程。
一种方式是加载一些文本文件比如常用的EXCEL表,可以将文本类型的字段自动转化成分析的维度Dimension,将数值类型的自动转化为被分析的数据就是度量Measure,用户就可以通过BI分析工具自由的拖拉拽完成维度和度量的组合,进行数据的可视化展示或者分析,这种维度和度量的这种组合就构成了一个最简单的分析模型。
商业智能BI的后端建模
那么在数据仓库中建模的方式就叫后端建模,就是在数据仓库中预先把维度表Dimension Table和事实表Fact Table 先处理好存储起来,这些维度表和事实表本身就可以通过维度字段的关联形成星型和雪花型模型。
星型模型 - 派可数据商业智能BI可视化分析平台
雪花型模型 - 派可数据商业智能BI可视化分析平台
在构成维度表和事实表之前,底层的ETL要做大量的数据抽取、转化和加载的工作,这也是整个BI项目建设的核心,开发工作量最大的一部分,差不多要占到项目开发80%左右的时间和精力。
商业智能BI项目架构
所以,一个企业级的、完整的最佳实践的BI项目架构应该是什么样的?就是利用BI数据仓库的建模,即后端建模将大部分的、标准的、高度可复用的分析模型预先设计好沉淀出来,形成标准的维度和事实表存储起来。
可视化分析 - 派可数据商业智能BI可视化分析平台
之后再通过BI前端可视化分析工具来连接到数据仓库数据库,访问这些可以构成各种分析模型的表,进行可视化分析。遇到特别的分析场景,底层数据仓库的后端模型不能够满足分析场景需要的时候,就可以借助商业智能BI可视化工具的前端建模能力来扩展一些分析模型,完成前端建模和可视化分析的工作。
数据模型的作用
方便人与人之间信息的传递和沟通。
方便人们通过数据模型去理解现实世界。
计算机通过算法模型、规则模型,可以预测客观虚拟事物的发展或轨迹。
现实世界的虚拟事物,抽象到信息世界逻辑模型,再转换成计算机世界的数据模型,而计算机能够存储和识别的是物理模型。
可视化分析 - 派可数据商业智能BI可视化分析平台
数据模型的用途
以一种结构化、方便理解特定事实的组织方式呈现给人,比如BI模型、分析模型。
帮助更好的理解业务,比如业务模型、概念模型、领域模型、逻辑模型。
根据对样本数据或人的经验猜想,构建模型,去预测其它同类事物或场景,比如算法模型。
将现实世界的信息转化成数据模型,呈现给计算机,可以用于存储或计算,比如物理数据存储模型
根据数据模型用途的不同,建模方法也大相径庭。所以我们在做数据建模前,一定要先想清楚所建模型的具体用途和场景。
我们所说的数仓建模,实际上就是构建一种数据存储模型,用于结构化存储我们日常业务行为或信息化系统存储下来有价值的数据。
数据仓库 - 派可数据商业智能BI可视化分析平台
数据建模的意义
降低的存储成本,同时提高的查询效率
可以清晰明了的数据结构方便理解和使用
简化了ETL的处理逻辑
为数据质量提供保障,包括数据的一致性、准确性、完整性、时效性
可以更灵活的应对变化并且可以满足客户需求
相关文章
- 美赛数学建模 | 信息检索与竞赛工具 降低信息差
- Unity & CityEngine 根据地图中建筑矢量数据批量建模
- python机器学习数据建模与分析——数据预测与预测建模
- Python机器学习数据建模与分析——Numpy和Pandas综合应用案例:空气质量监测数据的预处理和基本分析
- 【计算机视觉】背景建模之PBAS
- 机器学习项目的完整流程:①数学建模、②获取数据、③数据预处理、④特征工程、⑤模型的选择、⑥模型训练、⑦模型调优、⑧模型评价、⑨模型融合、⑩上线
- 自动语音识别(ASR):研究综述【传统语音识别:基于贝叶斯公式,对联合概率P(X|W)·P(W)进行建模(语音识别结果=声学模型×语言模型)】【端到端语音识别:直接对条件概率 P(W|X)进行建模 】
- 【状态估计】电力系统状态估计的虚假数据注入攻击建模与对策(Matlab代码实现)
- 从人体3D建模和测量入手,云之梦要用虚拟试衣解放量体师和服装导购员
- 6步教你搞定网络威胁建模
- 7个影响数据分析的数据建模错误
- 《数学建模:基于R》——1.1 数据的描述性分析
- 《机器人自动化:建模、仿真与控制》——1.3 伺服电动机
- 《机器人自动化:建模、仿真与控制》——导读
- 采用 PAT工具及CSP语言,对一个问题进行自动机 建模
- 第107课: Spark Streaming电商广告点击综合案例底层数据层的建模和编码实现(基于MySQL)
- WebApp分析建模的工具
- 【软考——系统架构师】UML 建模与架构文档化
- 高级智能研究计划(IARPA):大脑皮层建模
- AVEVA Marine中多联复板建模和出图