clickhouse 数据一致性保障常用解决方案
2023-09-27 14:28:03 时间
一、前言
对于任何一个数据存储的框架来说,确保数据的一致性都是其非常重要的组成部分,不管是过程中的强一致性,还是最终一致性,都是数据一致性的解决方案,本篇来聊聊clickhouse中的数据一致性问题。
二、clickhouse 数据一致性
通过查询 CK 官方手册发现,即便对数据一致性支持最好的 Mergetree,也只是保证最终一致性,即clickhouse是采用最终一致性的解决方案;
三、前置准备
1、创建一张数据表
CREATE TABLE test_a(
user_id UInt64,
score String,
deleted UInt8 DEFAULT 0,
create_time DateTime DEFAULT toDateTime(0)
)ENGINE= ReplacingMergeTree(create_time)
ORDER BY user_id;
表字段说明:
- user_id 是数据去重更新的标识;
- create_time 是版本号字段,每组数据中 create_time 最大的一行表示最新的数据;
- deleted 是自定的一个标记位,比如 0 代表未删除,1 代表删除数据;
相关文章
- Redis与DB的数据一致性解决方案(史上最全)
- 【MATLAB教程案例62】使用matlab实现基于PointNet++网络的点云数据分类仿真分析
- 是基于局部和全局一致性算法对双月数据进行分类
- 论SparkStreaming的数据可靠性和一致性
- 关于数据一致性的思考
- 《数据驱动的网络分析》——6.6 分析:统计假设检验
- mysql 语句的使用清库数据转移
- 数据一致性通常指关联数据之间的逻辑关系是否正确和完整
- pt-table-checksum工具MySQL主从复制数据一致性
- SOA架构设计经验分享—架构、职责、数据一致性
- 【Harmony OS】【ARK UI】轻量级数据存储
- 大数据时代:如何节省存储成本
- 【Verilog基础】【计算机体系结构】DMA数据搬移产生的cache一致性
- 阿里云大数据利器之-使用sql实现流计算做实时展现业务( flume故障转移版 )
- 联接无止境!500万台AP潜在大数据流量入口
- 分布式概念简单了解:数据一致性、CAP、BASE、分布式事务、分布式锁
- 健康医疗大数据2020年形成产业体系