zl程序教程

您现在的位置是:首页 >  大数据

当前栏目

kafka关于副本的理解

Kafka 关于 理解 副本
2023-09-27 14:28:03 时间

前言

副本机制是许多存储引擎必备的,在数据存储时候,为了保证数据的高可靠性,常常需要将主节点数据进行备份存储,即保存一份与主节点相同的数据集,一旦主节点发生宕机等故障,通过副本还能进行数据的恢复,比如我们熟悉的es,不仅有副本,还有分片;mongodb机器也是如此,通常生产环境下采用复制集

在kafka中,也同样存在副本的概念,其主要特点如下:

  1. 提高数据可靠性
  2. 默认副本 1 个,生产环境一般配置为 2 个,保证数据可靠性;太多副本会增加磁盘存储空间,增加网络上数据传输,降低效率;因此副本的数量要合理设置
  3. Kafka 中副本类型有2种,分为:Leader 和 Follower。Kafka 生产者只会把数据发往 Leader,然后 Follower 找 Leader 进行同步数据;
  4. Kafka 分区中的所有副本统称为 AR(Assigned Repllicas);AR = ISR + OSR
ISR,表示和 Leader 保持同步的 Follower 集合。如果 Follower 长时间未向