现代数据架构选型:Data Fabric、Data Mesh | QCon
作者|QCon
数据架构总是在更新迭代的路上,以使其快速适应变化的数据环境,更为敏捷和规模化地给业务部门交付数据。在传统的数据架构中,存在数据复杂度高、缺乏敏捷性、不便于协作、数据和一致性可解释性低下等问题。这些挑战阻碍了企业迈向数据驱动型企业的道路,也难以实现快速响应业务需求。
在寻求最佳数据架构的过程中,Data Fabric 和 Data Mesh 常常被关注到,这两者乍一看很相似,但是这两种方法存在着根本差异。
Data Fabric 是一种设计概念和架构方法,旨在解决数据管理的复杂性,最大限度地减少对数据使用者的干扰,确保任何位置、任何平台上的任何数据都可以被有效触达使用。Data Fabric 本质上是一种元数据驱动的方式,兼有 AL/ML 驱动的增强,和包含云原生、微服务、API 驱动等在内的强大的基础设施,用于链接不同的数据工具集。在日益异构化的环境中,Data Fabric 的出现显得至关重要。因为此时此刻,数据多样性的问题在变得更加严重。
Data Mesh 在解决的问题和 Data Fabric 十分相似,也就是在异构数据环境中管理数据的难题。但二者的不同之处在于,Data Mesh 允许分布式团队在遵守共同的治理规定的前提下按照自己的方式管理数据,而 Data Fabric 是在分布式数据之上构建单个的虚拟管理层。Data Mesh 希望能纠正数据湖和数据仓库之间的不一致性。
再往上一层总结,Data Mesh 则侧重于组织变革,它关注人员和流程,而不是架构,而 Data Fabric 以技术为中心,它是一种架构方法,它以一种智能的方式处理数据和元数据的复杂性,并且可以很好地协同工作。二者并不冲突,甚至可以有效协作,你可以将它们当作框架而不是架构。
前面提到数据湖和数据仓库,其实在目前,如何为数据分析需求提供最佳数据存储一直是一个火热的话题,相关产品竞争激烈。数据仓库和数据湖一直是使用最广泛的大数据存储架构,近几年横空出世的湖仓一体,号称结合了数据湖的灵活性和数据仓库的数据管理便捷性,但截至目前,行业内的最佳实践偏少,营销众多。
数据湖 vs 数据仓库 vs 湖仓一体的讨论在很长一段时间内都会持续下去,选择哪一种架构,取决于你正在处理的数据类型、数据源以及数据使用方式。
我们希望找到最佳实践,供您参考。因此将于 7 月 31 日 -8 月 1 日举办的 QCon 全球软件开发大会(广州站)特别策划了「现代数据架构选型」专题,将湖仓一体、Flink 最新更新、Data Fabric、Data Mesh 的相关实践集结于此,希望对你的选型有帮助。
QCon 全球软件开发大会广州站日程已上线官网,50+ 技术实践案例首次对外公开分享,点击底部【阅读原文】一览专题详细演讲提纲。门票限时优惠即将结束,前沿案例分享不可错过。感兴趣的同学联系票务经理报名:15600537884(同微信)~
相关文章
- 数据透视表上线!如何在纯前端实现这个强大的数据分析功能?
- 详解DDD“洋葱架构”
- 记一次C/S架构客户端配置文件泄露导致的内网沦陷
- 高通骁龙8 Gen 2将采用全新“四丛集”架构:Cortex-X3+A715+A710+A510
- 大牛带你实时解读微服务架构改造案例:天气预报系统的架构设计
- bs和cs开发架构的详细解析区别_BS与CS架构区别
- Windows 环境搭建 PostgreSQL 物理复制高可用架构数据库服务
- 字节跳动数据血缘架构演进之路
- Spring架构浅析
- 论一种模块化的 Minecraft Minigame 游戏架构模型
- CCF优秀博士论文 | 图处理加速架构研究
- 大数据Flink进阶(八):Apache Flink架构介绍
- 十问“海外名声大噪”的现代数据堆栈:定义、架构特点及发展趋势30/64
- 微服务架构及分布式事务解决方案详解架构师
- 大数据Hadoop的HA高可用架构集群部署详解大数据
- 大数据时代数据库-云HBase架构&生态&实践详解大数据
- 深入浅出Oracle数据体系架构(oracle数据体系结构)
- 高通放弃ARM桌面平台战略转而采用NUVIA凤凰架构继续挑战苹果
- Linux的发展史:从单一核心到多核心架构(linux的分支)
- 管理 131,800,000,000 条数据记录,巨杉数据库支撑银行云化架构升级
- 深入解析TB Oracle,构建强大数据库架构。(tboracle)
- 企业互联网+转型实战:如何进行PB级别数据的架构变迁
- 重塑数据存储架构去除Redis的实践(若依框架去除redis)
- 同架构云端托管为Redis提供多样化支持(云托管支持redis不)
- Oracle主备库架构实现高效数据可靠性(oracle 主备库设计)
- 构建实现oracle数据管理亿级架构之路(oracle亿级数据架构)
- 架构优化数据搬迁Redis集群导入数据库架构(redis 集群导数据库)
- 新补丁允许在x86-64 微架构功能级别上创建Linux Kernel
- ASP三层架构Convert类实现代码