kafka常用指令
2023-04-18 15:54:37 时间
1. 前言
kafka作为数据中间键在数据服务解耦,大数据,日志方面堪称一把瑞士军刀,备受青睐,作为提供了一套完整命令行的程序,日常进行调试过程中难免会用到一些指令,现总结18条最常用指令。
2. 常用指令
-
启动消费者
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 -topic quickstart-events --from-beginning
-
启动生产者
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic quickstart-events
-
启动zookeeper
/mnt/d/wsl/kafka_2.12-2.8.0# bin/zookeeper-server-start.sh config/zookeeper.properties
-
启动kafka服务端进程
/mnt/d/wsl/kafka_2.12-2.8.0# bin/kafka-server-start.sh config/server.properties
-
创建topic
bin/kafka-topics.sh --create --topic topicname --replication-factor 1 --partitions 1 --zookeeper localhost:2181
-
查看topic
bin/kafka-topics.sh --list --zookeeper localhost:2181
-
查看所有topic
./bin/kafka-topics.sh --zookeeper localhost:2181 --list
-
删除某个topic
bin/kafka-topics.sh --delete --topic synch.postgres_db --zookeeper localhost:2181
-
查看topic详情
bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic soar_alarm --describe
-
查看topic消费进度,必须参数为--group, 不指定--topic,默认为所有topic
bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group merge_data_service
-
列出所有主题中的所有用户组
bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group merge_data_service --members # 输出 CONSUMER-ID HOST CLIENT-ID #PARTITIONS rdkafka-22797a51-c161-4377-a4cb-e60423784779 /10.249.151.24 rdkafka 1
-
删除消费者组
bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --delete --group merge_data_service
-
通过 state 参数来查看消费组当前的状态
bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group merge_data_service --state # 输出 COORDINATOR (ID) ASSIGNMENT-STRATEGY STATE #MEMBERS linkage:9094 (1001) range Stable 1
-
通过 verbose 参数,那么还会罗列出每个消费者成员的分配情况
bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group merge_data_service --members --verbose # 输出 CONSUMER-ID HOST CLIENT-ID #PARTITIONS ASSIGNMENT rdkafka-22797a51-c161-4377-a4cb-e60423784779 /10.249.151.24 rdkafka 1 soar_alarm_merge(0)
-
查看所有消费者组
./bin/kafka-consumer-groups.sh --bootstrap-server 10.48.93.9:9092 --list # 输出 sabre.monitor merge_data_service rule_data_topic test-consumer-gr filebeat-soar salmon_groupid_002
-
查看 集群版 topic详情
./bin/kafka-topics.sh --zookeeper zk1.node:12181,zk2.node:12181,zk3.node:12181 --describe --topic test05
-
获取某个topic每个分区的文件条目
./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic SOAR_OCNN57
-
彻底删除topic
# 进入zookeeper客户端 zookeeper-client rmr /admin/delete_topics/soar_alarm_merge rmr /brokers/topics/soar_alarm_merge
相关文章
- 技术突破将如何影响医疗保健的未来?
- 腾讯云Techo Hub技术巡回成都站落幕,看众专家如何解读文创产业的全栈技术实践
- AIOT:人工智能和物联网急需融合
- Kafka 夺命连环11问
- 边缘计算对企业安全建设的影响及趋势
- 科技如何颠覆房地产行业
- AIoT的真相试试什么?
- 分布式数据库系统面临的问题和挑战
- 分布式存储和区块链结合能碰撞出怎样的火花?
- 5G CPE传输性能提升研究与实现
- 三大运营商7月份运营数据:5G成增长“动力担当”用户规模破5亿
- 5G物联网改变世界的五种方式
- 人工智能如何通过远程监测患者来提高医疗质量
- 阿里灵杰 :让企业和开发者“开箱即用”大数据+AI
- 终于有人把分布式系统架构讲明白了
- 加速创新发展,华为云助力金融行业智能化升级
- 阿里云PolarDB数据库将云原生进行到底!业内首次实现三层池化
- 塑造金融科技未来的技术有哪些?
- 关于5G技术,你应该知道什么?未来会发生什么?
- “不服跑个分?”是噱头还是实力?