大数据架构(一)背景和概念
-系列目录-
一、背景
1.岗位现状
大数据在一线互联网已经爆发了好多年,2015年-2020年(国内互联网爆发期)那时候的大数据开发,刚毕业能写Hive SQL配置个离线任务、整个帆软报表都20K+起步。如果做到架构师,50K跑不掉。现在市场回归理性后:
- 普通岗:大数据/数仓开发,实际上除超一线城市之外,尚存很多大型企业转型期信息化、互联网(物联网IOT)还在发展,数据还在爆发式增长,仍大有可为。
- 精英岗/管理岗:大数据总监/架构师,在重视数据的企业(一线互联网大厂、数据服务厂商),年包上百万也不少。
2.行业现状
数据架构在过去20年发展迅速,尤其是过去十年,几乎每年都有新概念、新产品开源出来。一些新名词爆发式展现出来:数据仓库、数据集市、大数据、离线数仓、实时数仓、时空数据库、数据中台、数据湖、流批一体、湖仓一体、实时湖仓、商业智能(BI)等等。
- 数据精细化:从经营与分析转为数据化的精细运营,对数据要求过程化、粒度更细。
- 产品多样性:传统 BI 中的 Report、OLAP 等工具开始转向面向最终用户自助式、半自助的产品,来快速获取数据并分析得到结果。
- 数据时效性:从 T+1 转为近乎实时的数据诉求。
- 平台轻薄化:阿里自砍中台战略,把中台拆分到各条业务线部门独自负责。把中台变得轻薄,更贴近业务。数据只有贴近业务才能焕发活力。底层逻辑是某业务领域的中心化是推荐的,有价值的。
3.本文目标
本系列文章不做源码级分析大数据框架,而是关注大数据的发展历史、主流架构和原理、落地流程。可作为架构师对于大数据架构的扫盲贴。(笔者花了2月的时间阅读大量文章总结出来的,可能会有问题,欢迎留言交流。)
二、概念解析
前面说了大数据领域出了很多概念:数据仓库、数据集市、大数据、离线数仓、实时数仓、时空数据库、数据中台、数据湖、流批一体、湖仓一体、实时湖仓。我们就来简单解析一下这些"专业名词",从概念上达成一致,有一个基本的定位。
如上图所示,这些大数据领域的名词,我们可以分为2大类:1.数据服务架构相关 2.数据库、数仓相关。其中绿色角标标识具体概念的,黄色角标标识抽象概念的。
1.大数据:广义上的大数据概念,涵盖数据服务、数据仓库领域的概念。
1.数据服务架构相关:
- 数据中台:归属阿里三大中台战略。但2023年4月马云回国后,将公司按照业务线拆分,各付盈亏。同时中台也同步拆分到各业务中去,原中台只保留偏底层的少量系统。由此可见,中台可能去中心化,大中台变部门小中台,更贴近业务,盘活数据。
- Data Mesh数据网格:基于DDD领域驱动设计和服务网格思想的数据架构,可能会热度增加,但落地尚早。(国内service mesh都还没热起来,按照惯性data mesh最少3年后再说)。
2.数据仓库架构相关:
1.具体概念
- 数据库 :按照数据结构来组织、存储和管理数据的仓库。
- 数据仓库:抽取或导入结构化/半结构化数据,主要用于OLAP数据分析,支持管理决策。上世纪90年代,强制使用结构化数据+范式建模,构建EDW企业数据仓库。
- 数据集市:数据集市(Data Mart),也叫数据市场,是数据仓库的一个子集(部门级业务)。按照抽取方式可分为两类:1)独立型数据集市:直接从源数据抽取业务数据。2)从属型数据集市:从数据仓库/数据湖抽取。
- 数据湖 :以原始类型存储数据的存储系统。倡导:先导入,后处理分析使用。
2.抽象概念(逻辑概念)
- 离线数仓:数据仓库的延伸逻辑概念,描述的是批处理(离线计算)场景。
- 实时数仓:数据仓库的延伸逻辑概念,描述的是实时处理(实时计算)场景。
- 批流一体: 大数据的数据清洗ETL,可简单分为2类:批处理(离线任务)、流计算(实时计算)。批流一体讲究用一套技术方案实现2种目标。
- 湖仓一体:数据在数据湖和数仓中流动,兼具数仓的稳定性建模和数据湖的灵活特性。
- 实时湖仓:强调实时计算能力的湖仓一体架构。
2.1 数据库
数据库是“按照数据结构来组织、存储和管理数据的仓库”。数据库有很多种类型适用不同业务场景,最常见的是关系型数据库、键值型数据库、时序数据库。
2.1.1 关系型数据库
支持事务ACID特性的数据库。常见的有Mysql、Oracle、PostgresSQL等。2.1.2 非关系型数据库
- 文档型数据库(Document databases):MongoDB。优点是对数据结构要求不特别的严格。而缺点是查询性的性能不好。
- 键值型数据库(Key-value databases):Redis、Memcached,常用于缓存方案。
- 列数据库(Column-family databases):以列族的形式存储数据,如Apache Cassandra、HBase。优点是查询快速。缺点是数据结构有局限性。
- 时间序列数据库(Time-series databases):专门用于存储时间序列数据,如InfluxDB、OpenTSDB。目前时序大数据存储场景很多,前景极大,处于上升期。
2.2 数据仓库
2.2.1 数据仓库
数据仓库是Bill Inmon在1991年出版的“Building the Data Warehouse”一书中所提出的定义被广泛接受:数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策(Decision Making Support)。
- 面向主题的:根据使用者的需求,将来自不同数据源的数据围绕着各种主题进行分类整合。
- 集成的:来自各种数据源的数据按照统一的标准集成于数据仓库中。
- 相对稳定的:数据仓库中的数据是一系列的历史快照,不允许修改或删除,只涉及数据查询。
- 反映历史变化的 :数据仓库会定期接收新的集成数据,从而反映出最新的数据变化。
2.2.2 数据仓库VS数据库
2.2.3 企业数据仓库EDW
EDW也是一种数据仓库DW。上世纪90年代,使用结构化数据+3NF范式建模,构建EDW企业数据仓库。
2.2.4 离线数仓
2003~2006年 Google发表了三篇论文:分布式文件系统GFS、分布式计算框架MapReduce、分布式存储系统BigTable。2006年,Hadoop正式面世。此后,以Hadoop技术栈为代表的离线数仓架构引领大数据发展了十多年。这时候的处理任务基本都是批处理任务。离线数仓特指:应对批处理(离线计算)场景的数据仓库。如下图所示:
早期离线数仓使用离线计算引擎实现批处理数据。最常用的离线计算引擎就是Hive(Hadoop技术体系)。典型应用是定时任务跑批生成报表数据。
2.2.5 实时数仓
2014年,Flink为代表的实时计算风靡,基于Flink为计算引擎的实时数仓跃然纸上。实时数仓特指:应对实时处理(实时计算)场景的数据仓库。典型的实时数仓如下图所示:
2.3 数据集市
数据集市(Data Mart),也叫数据市场,就是满足特定的部门或者用户的需求,按照多维的方式进行存储,包括定义维度、需要计算的指标、维度的层次等,生成面向决策分析需求的数据立方体。
按照抽取方式可分为两类:
1)独立型数据集市:直接从源数据抽取业务数据。
2)从属型数据集市:从数据仓库/数据湖抽取。
数据仓库VS数据集市
2.4 数据湖
2.4.1 数据湖
随着互联网->移动互联网->IOT物联网 这一条商业智能发展线路的改变,产生了大量的照片、视频、文档等非结构化数据、时序数据。数据湖诞生了:允许用户以任意规模存储所有结构化和非结构化数据,并支持对数据进行快速加工和分析。用户可以按原样存储数据(无需先对数据进行结构化处理),并运行不同类型的分析(从控制面板和可视化到大数据处理、实时分析和机器学习,以指导做出更好的决策。
2.4.2 数据仓库VS数据湖
数据仓库的成长性很好,而数据湖更灵活。数据仓库支持的数据结构种类比较单一,数据湖的种类比较丰富,可以包罗万象。数据仓库更加适合成熟的数据当中的分析和处理,数据湖更加适合在异构数据上的价值的挖掘。
=========参考=============
How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh
相关文章
- 【Spring AOP】Spring AOP之你必须知道的AOP相关概念(1)
- Vmware虚拟化概念原理
- 重新整理操作系统概念系类——操作系统历史
- MySQL数据库复制概念及数据库架构不断扩展方案
- WWNN和WWPN的相关概念以及AIX、HPUX上的查询(原创)
- block,inline和inline-block概念和区别
- Docker 核心概念:镜像、容器、仓库,架构核心设计理念
- TypeScript 里的 module 概念
- 关于操作系统中的作业(Job)概念
- Atitit it与互联网 的技术体系 目录 1. 概念范围 硬件 软件 应用1 1.1. 职业分类2 1.1.1. 软件类2 1.1.2. 硬件类2 1.1.3. 网络类2 1.1.4.
- Atitit soa之道 艾提拉著作 SOA概念、技术与设计读书笔记 第3章 理解面向服务 10 第4章 理解面向服务架构 39 第5章 理解服务与微服务的层次 74 第6章 Web服务及微服务的
- Atitit fsm有限状态机概念与最佳实践 目录 1. 概念组成与原理成分1 1.1. 1、状态机的要素 4个要素,即现态、条件、动作、次态2 1.2. 状态表2 2. 性状2 2.1.
- Atitit 培训之道 attilax著 1. 概念 培训就是及教育1 1.1. 知识体系化2 1.2. 组织架构2 1.3. 人员架构 梯队化培训2 2. 培训目标,尽可能与项目相关技术点
- Atitit 概念还是技术更重要
- ML与math:机器学习与高等数学基础概念、代码实现、案例应用之详细攻略——基础篇
- 【架构实践】一文全方位解读服务网格(Service Mesh)的背景和概念
- 【Linux 内核】NUMA 非一致内存访问结构 ( NUMA 概念介绍 | NUMA 架构优势分析 | SMP、NUMA、MPP 架构 )
- Spring集成RabbitMQ-必须知道的几个概念
- 普通卷积、分组卷积和深度分离卷积概念以及参数量计算
- 计算机组成原理 BootLoader/BIOS/U-Boot概念理解