打破数据统一的七大原则
数据统一在数据分析领域里是个长期的挑战,从事数据分析的从业者希望在数据分析之前,来自不同实体的数据能够在同一个地方呈现出来。数据统一由七部分组成:1、获取数据 2、清洗数据 3、转换数据、4、模式集成 5、重复数据删除、6、分类 7、导出。
一般而言,企业实现数统一有两种方法,提取转换加载(ETL)和主数据管理(MDM)。
提取转换加载(ETL)具有灵活性的优势,适合不同的数据来源,使程序员可以手工编写转换程序,能够确保源数据模式与集中式数据仓库项目采用的全局模式匹配。但由于自动化程度低,提取转换加载带宽能超过20个数据源没有多少家公司。
主数据管理(MDM),它与ETL类似的地方在于,预设一个“主记录”,每一个有专门的类别选项。如客户、部件和供应商等的所有文件符合主记录格式。但和ETL有所区别的是,MOM不是使用手动的定制脚本,而是依靠一套“模糊合并”规则,把所有不同的文件转换成主格式。
可难解的是,在数据量过大的情况下,不管是ETL还是MDM,都无法解决数据统一难题。加上大数据集的庞大规模以及对程序员的苛刻要求任何的可规模化数据统一项目都必须在很大程度上实现自动化,不能依靠手动编写的程序。
著名计算机科学家、Tamr联合创始人兼***技术官迈克尔·斯通布雷克(Michael Stonebraker)针对数据统一存在的限制难题,提出数据统一的七条原则。
一、所有的可规模化系统,都必须自动进行绝大多数的操作。
二、模式为先(schema-first)的产品永远无法规模化。唯一的选择是采用‘模式为后’(schema-last)的产品。
三、需要进行具体的域操作时,只有协作性的系统才可实现规模化。
四、为了实现可规模化,任何的统一计算必须在多个核心和多个处理器上运行。
五、尽管存在第四条原则,但真正的可扩展应用需要复杂性低于N ** 2的并行算法。
六、规则系统实现是无法规模化的。只有机器学习系统才能将规模扩展到大公司所需要的程度。
七、必须支持实时增量统一。
相关文章
- Element 中查询前多少天、前多少周、前多少月的数据
- Redis核心知识点
- [DuckDB] 多核算子并行的源码解析
- R-入门+数据类型 -生信技能树
- ElasticSearch分布式搜索引擎——从入门到精通
- Nacos配置中心 (介绍与配置)
- OpenAI是如何“魔鬼调教” GPT的?——InstructGPT论文解读
- Web3:去中心化在线生态系统的未来
- parquet 文件解析
- 数据安全保护的小技巧
- springboot基于mybaits实现mysql读写分离
- 故障分析 | Redis AOF 重写源码分析
- 新特性解读 | 针对用户定制不同格式执行计划
- Nat. Commun. | 基于最优传输的单细胞数据集成统一计算框架
- Nat.Mach.Intell.| 基于双重众包的RNA降解预测模型
- Nat.Mach.Intell.| 简单的最近邻分析即可达到媲美复杂机器学习模型关于化合物效价预测的准确性
- Nat. Commun.| 将酶化学和合成化学与计算合成规划相结合
- 故障分析 | MySQL 相同 SQL 不同环境执行时间不一样案例分析
- 50. Pow(x, n)
- FlinkCDC/DEBEZIUM自定义日期转换器