数仓建模—数据域
数仓建模—数据安全「建议收藏」
大家好，又见面了，我是你们的朋友全栈君。 数据安全这里有一个背景就是中华人民共和国数据安全法的实施。为了规范数据处理活动，保障数据安全，促进数据开发利用，保护个人、组织的合法权益，维护国家主权、安全和发展利益，制定本法。《中华人民共和国数据安全法》已由中华人民共和国第十三届全国人民代表大会常务委员会第二十九次会议于2021年6月10日通过，现予公布，自2021年9月1日起施行。这里有几个定义我
日期 2023-06-12 10:48:40
数仓建模与分析建模_数据仓库建模与数据挖掘建模
大家好，又见面了，我是你们的朋友全栈君。1. 数仓概述数据仓库： 数据仓库是一个面向主题的、集成的、非易失的、随时间变化的数据集合。重要用于组织积累的历史数据，并且使用分析方法（OLAP、数据分析）进行分析整理，进而辅助决策，为管理者、企业系统提供数据支持，构建商业智能。面向主题：为数据分析提供服务，根据主题将原始数据集合在一起。集成的：原始数据来源于不同的数据源，要整合成最终数据，需要经过 ET
日期 2023-06-12 10:48:40数仓建模—数据报表体系搭建
数据报表体系搭建 信息化、数字化社会加速到来，企业纷纷开始布局数字化转型，数字经济将成为未来世界中最为火热的新型经济。 数据报表作为企业数字化转型的代表节点之一，未来会成为数字化企业的基本配置。 明确数据报表体系价值
日期 2023-06-12 10:48:40
数仓建模—增量数据处理
增量数据处理 这一节我们不讲技术，讲一个故事，关于数据同步这一块的落地方案可以参考我们之前的文章 数仓建模—数据集成 数仓建模—数据同步方案设计 数仓建模—美团DB数据同步到数据仓库的架构与实践 因为我们的数据同
日期 2023-06-12 10:48:40
数仓建模—美团数据质量监管平台实践
美团数据质量监管平台实践 前面我们已经介绍过数据质量相关的东西了，可以参考数仓建模—数据质量，这一节我们介绍一下美团在数据质量管理这一块的落地实践，可以为我们在具体的工作中提供提供参考 数据，已经成为互联网企业非常依赖的
日期 2023-06-12 10:48:40数仓建模—数据水印
数据水印 数据泄露是一个老生常谈的安全话题。据不完全统计，平均每天有十起以上公开曝光的数据泄露事件，从暗网数据交易监控到的各个行业数据泄露，到新冠疫情期间频频发生的公民个人隐私泄露。从泄露原因看，既有外部黑客攻击因素，也与
日期 2023-06-12 10:48:40数仓建模—数据安全平台建设实践
文章目录 数据安全平台建设实践 权限模型 为什么要设计新的权限模型？ 用户中心：用户管理、
日期 2023-06-12 10:48:40
数仓建模—数据仓库即服务
文章目录 数据仓库即服务 DWaaS的发展 基础设施的方案 纯DWaaS方案
日期 2023-06-12 10:48:40数仓建模—主数据管理
主数据管理 前面我们介绍过元数据管理，其实关于元数据我们称之为数据的数据，或者说是描述数据的数据，其实除了元数据之外，我们还有主数据，也就是元数据的描述对象。 元数据为大数据平台绘制数据地图、统一数据口径、标明数据方位、
日期 2023-06-12 10:48:40数仓建模—数据驱动业务
数据驱动业务 今天我们看一下数据驱动业务如何实现，在实现过程中有哪些需要注意的地方，其实我们一直在讲，数据为业务赋能，其实本质上就是数据为业务提供更加全面准确的数据支撑，从而更好更快的驱动业务的发展—数据驱动业务 基础数
日期 2023-06-12 10:48:40数仓建模—数据治理的本质与实践
数据治理的本质与实践 近三年，随着阿里数据中台战略的提出，以及各种数据应用场景的成功落地，企业和政府对自身数据资产的价值也前所未有的重视起来。但是，数据资产的价值发掘依赖于有序、完整和高质量的数据，数据治理则是保障数据质量
日期 2023-06-12 10:48:40数仓建模—数据领域常见概念与职位划分
数据领域常见概念 随着大数据时代的普及以及国家战略层面上的数字化转型，越来越多的客户意识到了“数据”的重要性，无论是走在前面的互联网企业、银行，还是传统有一定数据积累的零售、医药行业，又或是曾经毫无数据可言的商业地产，纷纷
日期 2023-06-12 10:48:40数仓建模—美团DB数据同步到数据仓库的架构与实践
美团DB数据同步到数据仓库的架构与实践 前面我们介绍了数据同步方案的设计，你可以参考数仓建模—数据同步方案设计，前面我们也说了，我们基于binlog 实现的数据同步方案，基本是都是基于下面架构的改造实现 这里我们就看一下
日期 2023-06-12 10:48:40数仓建模—数据同步方案设计
数据同步方案设计 通过前面的学习数据仓库的特性之一是集成，关于一点你可以参考我们前面的文章 数仓建模—数仓初识 数仓建模—数据集成 数据集成狭义上来说就是把未经过加工处理的、不同来源的、不同形式的的原始业务数据
日期 2023-06-12 10:48:40数仓建模—数据资产管理
数据资产管理 国外对“数据资产管理”的定义为：数据资产管理（Data asset management 简称DAM）是规划、控制、提供数据及信息资产的一组业务职能，包括开发、执行和监督有关数据的计划、政策、方案、项目、流程
日期 2023-06-12 10:48:40数仓建模—数据地图
数据地图 今天我们来看一下什么是数据地图 数据地图功能可以实现对数据的统一管理和血缘的跟踪。数据地图以数据搜索为基础，提供表使用说明、数据类目、数据血缘、字段血缘等工具，帮助数据表的使用者和拥有者更好地管理数据、协作开发
日期 2023-06-12 10:48:40数仓建模—数据质量
数据质量 今天我们看一下数据质量，其实我们在学习数仓的时候提到过如何评价一个数仓的好坏，我们一般是从稳定性、数据质量、及时性 这三个角度去衡量，当然关于这个怎么去量化我们前面提到过，数仓最终是为了支撑决策，决策的前提要保证
日期 2023-06-12 10:48:40数仓建模—数据域
数据域 前面我们介绍数据集市和宽表设计 都提到了一个词，那就是数据域，而且数据域这个概念在数仓里面也是非常重要的，今天我们就看一下它。 前面我们说过很多次了，分层是为了方便管理、数据集市也是为了方便管理，今天我们介绍的数
日期 2023-06-12 10:48:40数仓建模—数据安全
数据安全 这里有一个背景就是中华人民共和国数据安全法的实施。为了规范数据处理活动，保障数据安全，促进数据开发利用，保护个人、组织的合法权益，维护国家主权、安全和发展利益，制定本法。 《中华人民共和国数据安全法》已由中华人
日期 2023-06-12 10:48:40数仓建模—数据集市(DM)
数据集市(DM) 这里我们先回忆一下数据仓库的定义， 数据仓库(Data Warehouse) 是一个面向主题的(Subject Oriented) 、集成的( Integrate ) 、相对稳定的(Non -Volati
日期 2023-06-12 10:48:40数仓建模—元数据管理
元数据管理 元数据在数据仓库中远比操作型环境中更加重要，因为数据仓库是一个不断迭代升级并且数据量也是远远大于操作型数据库的，所以我们需要元数据进行更好的监控和管理。 元数据通常定义为"关于数据的数据",在数据仓库中
日期 2023-06-12 10:48:40数仓建模—数据集成
数据集成 其实数据集成是数仓的一个基本特点，这里我们再回顾一下数仓的特性，或者说是我们再回顾一下数仓的定义，面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile
日期 2023-06-12 10:48:40
数仓建模—数据治理
数据治理 元数据管理 数据质量 数据模型 安全管理 主数据管理 数据生命周期 数据治理（Data Governance），是一套持续改善管理机制，通常包括了数据架构组织、数据模型、政策及体系制定、技
日期 2023-06-12 10:48:40数仓建模—数据模型
数据模型 所谓水无定势，兵无常法。不同的行业，有不同行业的特点，因此，从业务角度看，其相应的数据模型是千差万别的。在开始介绍数据模型之前，我们先看一个东西，那就是算法与数据结构，我们知道算法是解决特定问题的策略，数据结构处
日期 2023-06-12 10:48:40