kafka_2.11-0.10.2.1中的auto.offset.reset
Kafka 2.1 Auto reset offset 2.11
2023-09-14 08:57:20 时间
在使用spark连接kafka消费topic时，发现无论怎么设置，也无法从头开始消费。
查看配置得出auto.offset.reset的以下3种设置及含义:
earliest
当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费
latest
当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据
none
topic各分区都存在已提交的offset时，从offset后开始消费；只要有一个分区不存在已提交的offset，则抛出异常
也就是说无论哪种设置，只要kafka中相同group、partition中已经有提交的offset，则都无法从开始消费。
kafka API：
http://kafka.apache.org/10/javadoc/index.html
相关文章
- Kafka vs RocketMQ—— Topic数量对单机性能的影响
- 安装和测试Kafka
- kafka学习之-雅虎开源管理工具Kafka Manager
- Kafka压测— 搞垮kafka的方法(转)
- 自己玩KAFKA 版本 kafka_2.13-3.2.1
- 大叔经验分享（138）kafka重置offset
- Kafka Zero-Copy 使用分析
- Spark修炼之道（进阶篇）——Spark入门到精通：第十五节 Kafka 0.8.2.1 集群搭建
- 《Kafka Stream》调研：一种轻量级流计算模式
- kafka单节点的安装，部署，使用
- kafka-python中消费参数auto.offset.reset详解
- 解开Kafka神秘的面纱(五)：kafka优雅应用
- 【云原生】详解 Zookeeper + Kafka on K8S 环境部署