Kafka学习之(一)了解一下Kafka及关键概念和处理机制详解程序员
Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模小打的网站中所有动作流数据。
优势
Kafka和其他主流分布式消息系统的对比
阿里巴巴的Metal,RocketMQ都有Kafka的影子,他们要么改造了Kafka或者借鉴了Kafka,最后Kafka的动态扩容是通过Zookeeper来实现的。
关键概念:
Broker:kafka集群中的一台或者多台服务器统称为broker。
Topic:Kafka处理的消息源(feeds of messages)的不同分类,可以理解为消息分类。
Partition:Topic物理上的分组,一个topic可以分为多个partition,每个partition是一个有序的队列。rartition中的每条消息都会被分配一个有序的id(offset)。也就是可以理解为一个群的群名称或者群号,因为大家都在这个群里面消费,成为分类,然后消费topic的时候进行物理分组,比如一个partition不够用,可以分配给多个partition。
Message:消息,是通信的基本单位,每个producer可以向一个topic(主题)发布一些消息。
Producers:消息和数据的生产者,向Kafka的一个topic发布消息的过程叫做producers。
Consumers:消息和数据消费者,订阅topics并处理其发布的消息过程叫做consumers。
图示说明
最上面的是Producer,也就是消费的生产者,生产好数据之后push到Broker中,也就是Kafka的服务器,push好之后下面有Consumer去消费Kafka的队列,可以看到图中是Consumer去拽Kafka中的消息,然后消费。整体是通过Zookeeper管理。
原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/2333.html
服务器部署程序员系统优化网站设置运维相关文章
- kafka集群搭建
- kafka 集群运维和使用「建议收藏」
- kafka add partitions function「建议收藏」
- RabbitMQ VS Apache Kafka (九)—— RabbitMQ集群的分区容错性与高可用性
- kafka应用场景包括_什么是场景理论
- 盘点一下我用kafka两年以来踩过的一些非比寻常的坑
- kafka学习之Kafka 的简介(一)
- Kafka教程_图解kafka
- kafka是什么牌子_kafka为什么叫kafka
- kafka介绍和使用[通俗易懂]
- kafka主要用来做什么_kafka概念
- kafka 多线程消费记录
- 如何用Know Streaming 快速对Kafka Topic 完成扩缩副本操作
- Kafka 架构及原理分析
- 面试系列-kafka基础组件及其关系
- 《深入理解Kafka与Pulsar:消息流平台的实践与剖析》送书活动
- Kafka生产者
- Kafka Tool模拟数据发送
- kafka之三 Kafka 高可用详解大数据
- Kafka Eagle 源码解读详解大数据
- Kafka实战-入门详解大数据
- Kafka分布式查询引擎详解大数据
- Kafka项目实战-用户日志上报实时统计之应用概述详解大数据
- kafka源码解析之十二KafkaController(下篇)详解编程语言
- 从Linux启动Kafka:一步一步指南(linux启动kafka)
- Kafka如果丢了消息,怎么处理的?
- 初探Kafka Streams
- 的数据同步从MySQL到Kafka:实现实时数据同步(mysql到kafka)
- Oracle 数据流轻松集成 Kafka 服务:提高数据传输效率(oracle到kafka)
- Oracle与Kafka新一代数据处理技术(oracle与kafka)
- Redis与Kafka提升数据处理能力的联合组合(redis配合kafka)