为什么 Apache Kafka 要放弃 ZooKeeper ?
对于领先的分布式事件流平台Apache Kafka的用户来说,变化即将到来。Kafka的元数据管理工具Apache ZooKeeper将很快被淘汰,取而代之的是内部技术。
Apache Kafka项目管理委员会成员、利用Kafka的Confluent公司工程师Colin McCabe解释了这一变化的原因。他说,ZooKeeper存储持久的集群元数据,处理维护动态配置和主题,以及主题内的分区。但ZooKeeper增加了一个额外的管理层次。McCabe说,在Kafka内部存储元数据将使管理更容易,并能更好地保证版本等问题。
Kafka Raft,即KRaft,是一种内部管理元数据的协议,将取代ZooKeeper。在KRaft模式下,Kafka元数据将被存储在一个分布式日志中。McCabe说,可扩展性将是主要的好处,但管理也会改善。Kafka用户将不再需要部署一个单独的系统来管理他们的Kafka集群。
目前还不清楚ZooKeeper具体何时退役,但预计在未来一两周内会对时间表进行投票。目前的建议是在即将发布的Kafka 3.3中宣布KRaft普遍可用。ZooKeeper将在之后的版本中被废弃,并在Kafka 4.0中移除。
Kafka 3.3预计在8月发布,将包括ZooKeeper和KRaft两个选项。ZooKeeper的终结日期还未确定。"McCabe说:"KRaft模式很快就会进入生产阶段,今年很快。"这将是该项目向前迈出的一大步。"
目前,Kafka开发人员正在努力实现KRaft和ZooKeeper之间的全功能对等,据说这一点正在接近。KRaft模式实际上从2021年4月发布的Kafka 2.8开始就有了,但不是生产就绪状态;Kafka 3.3将是第一个生产就绪版本。对于习惯了ZooKeeper的开发者来说,McCabe预计在转移到KRaft时不会有陡峭的学习曲线。对开发者来说,同样的API被支持,但操作者可能有一些东西需要学习。"我们的希望是,新的管理员实际上会发现这更容易,而现有的管理员会发现过渡是可控的。"
Confluent认为ZooKeeper的废弃是Kafka社区的一个重要举措,Kafka的联合创建者和Confluent的联合创始人Jun Rao(饶军)说。"它使部署/操作变得更加简单,并且由于更有效地处理元数据,可扩展性提高了10倍。我们很高兴与社区合作开展这项工作,并希望它很快就能投入生产。"
原标题:Why Apache Kafka is dropping ZooKeeper
原作者:Paul Krill
相关文章
- 时间序列数据库的数据集成策略
- 使用Pandas也可以进行数据可视化
- 大数据已死!从业10年老哥爆文抨击:这套唬不住客户了
- 连接数据与技术,改造智能建筑
- 春节大数据看2023年中国经济走向
- 为什么数据能力对网络智能至关重要
- 数据隐私在智慧城市中的重要性
- 谈谈12个最常见的数据质量问题及其来源
- 数据分析终极一问:多影响因素下,到底咋归因?!
- 网易云音乐数据全链路基线治理实践
- 用于文本数据分析的 Pandas:使用 Str 访问器清理和操作文本数据
- 运营策略分析体系,该如何搭建
- Python eval 函数动态地计算数学表达式
- 就是这么简单!Pyecharts绘制可视化地图专辑
- 从玄学走向科学:AB测试驱动的科学增长
- 一文了解-云原生大数据知识地图
- 谈谈数据质量管理中的五个关键要素
- Prometheus基于Consul的 Redis 多实例监控方案
- 这次用户分群模型,终于被评价为【有用】
- 谈谈数据编织与数据网格、数据虚拟化、数据湖的区别