Apache Kafka 集群架构
2023-09-14 09:16:28 时间
转自https://www.w3cschool.cn/apache_kafka/apache_kafka_cluster_architecture.html
看看下面的插图。 它显示Kafka的集群图。
![Cluster Architecture](https://atts.w3cschool.cn/attachments/tuploads/apache_kafka/cluster_architecture.jpg)
下表描述了上图中显示的每个组件。
S.No | 组件和说明 |
---|---|
1 | Broker(代理) Kafka集群通常由多个代理组成以保持负载平衡。 Kafka代理是无状态的,所以他们使用ZooKeeper来维护它们的集群状态。 一个Kafka代理实例可以每秒处理数十万次读取和写入,每个Broker可以处理TB的消息,而没有性能影响。 Kafka经纪人领导选举可以由ZooKeeper完成。 |
2 | ZooKeeper ZooKeeper用于管理和协调Kafka代理。 ZooKeeper服务主要用于通知生产者和消费者Kafka系统中存在任何新代理或Kafka系统中代理失败。 根据Zookeeper接收到关于代理的存在或失败的通知,然后生产者和消费者采取决定并开始与某些其他代理协调他们的任务。 |
3 | Producers(生产者) 生产者将数据推送给经纪人。 当新代理启动时,所有生产者搜索它并自动向该新代理发送消息。 Kafka生产者不等待来自代理的确认,并且发送消息的速度与代理可以处理的一样快。 |
4 | Consumers(消费者) 因为Kafka代理是无状态的,这意味着消费者必须通过使用分区偏移来维护已经消耗了多少消息。 如果消费者确认特定的消息偏移,则意味着消费者已经消费了所有先前的消息。 消费者向代理发出异步拉取请求,以具有准备好消耗的字节缓冲区。 消费者可以简单地通过提供偏移值来快退或跳到分区中的任何点。 消费者偏移值由ZooKeeper通知。 |
相关文章
- Apache自定义日志格式
- nginx php apache php 对比,Apache和nginx的比较「建议收藏」
- 开源数据质量解决方案——Apache Griffin入门宝典
- Apache Kafka 生产者配置和消费者配置中文释义
- apache工具包_apache怎么安装
- kafka学习之Kafka 的简介(一)
- spark包链接kafka集群报错org.apache.kafka.common.KafkaException: Failed to construct kafka consumer
- Kafka 删除topic_kafka自动创建topic
- Kafka入门经典教程_kafka菜鸟教程
- Return Code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask
- Apache Kafka教程--Kafka新手入门
- Apache DolphinScheduler 告警插件开发和源码解读
- Apache配置多个网站的方法详解程序员
- Apache Hive 基本理论与安装指南详解大数据
- javaweb学习总结(四十一)——Apache的DBUtils框架学习详解编程语言
- Linux下启动Apache服务的方法(linux启动apache)
- 使用 Apache Kafka 和 SigNoz 实现应用可观测性
- Linux环境下部署Kafka服务器实践(linux kafka)
- Apache配置详解(最好的APACHE配置教程)
- Apache、Nginx服务配置服务器端包含(SSI)
- Apache限制IP并发数和流量控制的方法
- Apache中启用ServerStatus配置示例