Kafka消费者没有收到通知的分析
今天遇到两位三方人员跟我反馈,某微服务的异步接口功能不正常了,由于该异步接口采用Kafka异步消息的方案,对方说没有收到Kafka给消费者的通知,根据此问题,联系了相关人员进行了分析:
(一)明确环境是否一致
1、生产者和消费者链接Kafka的地址是否一致,初步发现A方消费者链接Kafka的地址不正确,没有与生产者链接Kafka的地址保持一致。
2、topic和key是否都一致,初步可以确定A方消费的topic和key都是跟生产者的topic和key是一一对应的。
(二)生产者和Kafka之间的交互
通过生产者的日志分析,已成功将消息发生给Kafka了,并且在Kafka端也明确是接收到了次消息,所以说生产者和Kafka之间的交互是没有问题的,流程正常。
(三)Kafka和消费者之间的交互
1、A方消费者矫正链接Kafka的地址后进行测试,表明是可以正常接收到,到此A方消费者的问题得到了处理,就是地址不正确造成的;
2、B方消费者暂时还没有接收到通知,经Kafka方的确认,B方消费者没有在生产者提供的topic下进行订阅,并且B方消费者在启动时也没有看到该topic的日志信息,因此Kafka方先让B方消费者修改一下topic信息和key信息,在代码中写死;B方消费者修改后进行测试,表明是可以正常接收到消息了,并且在Kafka那里也看到该topic下有B方消费者的订阅了,到此B方消费者的问题也到了处理,就是topic和key不正确造成的。
3、后来又听B方说是bean注入的问题(指定了@Qualifier()后就不能订阅了),目前还不知道确定的原因。
小结:在遇到这类问题时一定要检查自身的代码,配置信息是否正常,否则这样的分析和定位都是在浪费大家的时间。
相关文章
- spring注解解析流程_深入理解Kafka
- 时间轮在Kafka的实践「建议收藏」
- 美团面试真题,如何保证Kafka消息不丢失?
- 日志采集系统flume和kafka有什么区别及联系,它们分别在什么时候使用,什么时候又可以结合?
- 大数据必知必会之Kafka
- 六问 Kafka 为啥那么牛!
- docker-compose部署hive、kafka服务
- kafka学习之Kafka 的简介(一)
- Kafka动态调整topic分区partition
- Kafka 删除topic_kafka自动创建topic
- Kafka源码解析_kafka删除消费组命令
- kafka的优点包括_如何利用优势
- elasticsearch集群搭建_Linux如何关闭kafka集群
- Flink kafka sink to RDBS 测试Demo
- 2-网站日志分析案例-日志采集:Flume-Kafka-Flume-HDFS
- 【Kafka】Kafka-Server-start.sh 启动脚本分析(Ver 2.7.2)
- OGG-15051|OGG 同步 Oracle 到 Kafka 时遇到的一个错误
- Kafka消费过程分析
- 不背锅运维:消息队列概念、kafka入门、Kafka Golang客户端库
- Kafka入门篇学习笔记整理
- Kafka Eagle 源码解读详解大数据
- Kafka – SQL 代码实现详解大数据
- Kafka 分区备份实战详解大数据
- Kafka项目实战-用户日志上报实时统计之分析与设计详解大数据
- kafka源码解析之六SocketServer详解编程语言
- Kafka 孕育开源 KarelDB
- Linux下搭建Kafka Stream架构的实践(linux kafka)
- 利用Kafka与Oracle实现实时数据交换(kafka oracle)
- Redis与Kafka提升数据处理能力的联合组合(redis配合kafka)
- 比较Redis vs Kafka(redis还是kafka)