kafka消息顺序性学习
2023-09-14 09:11:19 时间
转自:https://cloud.tencent.com/developer/article/1839597
1.介绍
全局有序:需要1个Topic只能对应1个Partition,对应的consumer也要使用单线程或者保证消费顺序的线程模型。
局部有序:在发消息的时候指定Partition Key,Kafka对其进行Hash计算,根据计算结果决定放入哪个Partition。这样Partition Key相同的消息会放在同一个Partition。此时,Partition的数量仍然可以设置多个,提升Topic的整体吞吐量。在不增加partition数量的情况下想提高消费速度,可以考虑再次hash唯一标识(例如订单orderId)到不同的线程上,多个消费者线程并发处理消息(依旧可以保证局部有序)。
消息重试对消息消费也有影响。不严格保证顺序性。
相关文章
- Kafka、RabbitMQ、RocketMQ消息中间件的对比—— 消息发送性能
- 【消息队列】kafka是如何保证消息不被重复消费的
- 【消息队列】kafka是如何保证高可用的
- 设置Kafka集群的方法
- 顶级Apache Kafka术语和概念
- PHP 消息队列 Kafka 使用
- 消息队列比较-rabbitmq/kafka/rocketmq/ONS
- Kafka实战-Storm Cluster
- 整合Kafka+Flink 实例(第二部分 设计思路)
- 阿里云消息队列 Kafka-消息检索实践
- Kafka消息队列
- 转Kafka设计理念浅析
- Kafka 消息监控 - Kafka Eagle
- Kafka消息队列
- kafka-eagle报错解决:Kafka version is “-“ or JMX Port is “-1“ maybe kafka broker jmxport disable.
- kafka详解三:开发Kafka应用
- OUT了吧,Kafka能实现消息延时了
- 6张图为你分析Kafka Producer 消息缓存模型
- Kafka生成消息时的3种分区策略
- ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
- 消息队列和Kafka
- 记一次Kafka服务器宕机的真实经历!!
- Apache Samza流处理框架介绍——kafka+LevelDB的Key/Value数据库来存储历史消息+?
- 【项目实战】SpringBoot整合Kafka消息队列(基于KafkaTemplate和@KafkaListener实现)
- 解开Kafka神秘的面纱(二):Kafka的高效读写与消息安全
- kafka-集群监控