Kafka运维
kafka 集群运维和使用「建议收藏」
大家好，又见面了，我是你们的朋友全栈君。最近在维护kafka集群，遇到了很多问题都需要记录下：集群信息：12台服务器，每台机子12块盘每块1.8T，其中6台做RAID,6台使用12块盘，64G内存，CPU24核，万兆网卡。集群每天写入的消息量能到每天33亿条消息，消费暂时还没有统计（通过ZK消费的消息量大概每天100亿，还有很大一部分走的SimpleConsumer没有统计）。topic数量（截止
日期 2023-06-12 10:48:40
kafka单条消息过大导致线上OOM，运维连夜跑路了！
1 线上问题kafka生产者罢工，停止生产，生产者内存急剧升高，导致程序几次重启。查看日志，发现Pro程序爆异常kafka.common.MessageSizeTooLargeException。查看kafka配置，默认单条消息最大1M，当单条消息长度超过1M，就会出现发送到broker失败，从而导致消息在producer的队列一直累积，直到Pro OOM。赶紧修改kafka配置，解决问题。2 修
日期 2023-06-12 10:48:40领取20万字《Kafka运维与实战宝典》PDF文档
作者：石臻臻, CSDN博客之星Top5、Kafka Contributor 、nacos Contributor、华为云 MVP ,腾讯云TVP, 滴滴Kafka技术专家 、 KnowStreaming
日期 2023-06-12 10:48:40【kafka运维】Kafka全网最全最详细运维命令合集(精品强烈建议保存)
超强!!! Kafka学习大全!!!(快收藏) 文章目录 1.TopicCommand1.1.Topic创建1.2.删除Topic1.3.Topic分区扩容1.4.查询Topic描述5.查询To
日期 2023-06-12 10:48:40
8.【kafka运维】kafka-dump-log.sh数据查看
日常运维 问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站式Kafka监控与管控平台 1.查看日志文件 kafka-dump-log.sh 参数描述例子--deep-iteration --files
日期 2023-06-12 10:48:40
7.【kafka运维】 kafka-consumer-groups.sh消费者组管理
文章目录 消费者组管理 kafka-consumer-groups.sh1. 查看消费者列表`--list`2. 查看消费者组详情`--describe`3. 删除消费者组
日期 2023-06-12 10:48:40
6.【kafka运维】删除Topic消息+查看Broker磁盘信息
文章目录 1.删除指定分区的消息kafka-delete-records.sh2. 查看Broker磁盘信息kafka-log-dirs.shMore 日常运维 、问题排查 怎么能够少了滴
日期 2023-06-12 10:48:405.【kafka运维】生产者消费组压力测试运维(5)
文章目录 1.生产者压力测试kafka-producer-perf-test.sh2.消费者压力测试kafka-consumer-perf-test.shMore 日常运维 、问题排查 怎
日期 2023-06-12 10:48:40【kafka运维】Leader重新选举运维脚本
文章目录 kafka-leader-election Leader重新选举More 日常运维 、问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站式Kafka监控与管控平台
日期 2023-06-12 10:48:403.【kafka运维】Topic的生产和消费运维脚本
文章目录 1.Topic的发送kafka-console-producer.sh2. Topic的消费kafka-console-consumer.sh3. 持续批量推送消息kafka-verifiable-p
日期 2023-06-12 10:48:40【kafka运维】分区副本重分配、数据迁移、副本扩缩容 (附教学视频)
日常运维、问题排查=> 滴滴开源LogiKM一站式Kafka监控与管控平台 (后续的视频会在 公众号[首发]、CSDN、B站等各平台同名号[石臻臻的杂货铺]上上传 ) 分区副本
日期 2023-06-12 10:48:402.【kafka运维】ConfigCommand运维脚本
文章目录 ConfigCommand1 查询配置Topic配置查询其他配置/clients/users/brokers/broker-loggers 的查询broker-loggers 查询指定Broker
日期 2023-06-12 10:48:40
1.【kafka运维】TopicCommand运维脚本(1)
文章目录 TopicCommand1.Topic创建2.删除Topic3.Topic分区扩容4.查询Topic描述5.查询Topic列表 More 日常运维 问题排查 怎么能够
日期 2023-06-12 10:48:40Kafka的灵魂伴侣Logi-KafkaManger(5)之运维管控–平台管理(用户管理和平台配置)
推荐一款非常好用的kafka管理平台,kafka的灵魂伴侣 滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台 技术交流 有想进滴滴LogI开源用户群的加我个人微信: jjdlm
日期 2023-06-12 10:48:40Kafka的灵魂伴侣Logi-KafkaManger(4)之运维管控–集群运维(数据迁移和集群在线升级)
推荐一款非常好用的kafka管理平台,kafka的灵魂伴侣 滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台 技术交流 有想进滴滴LogI开源用户群的加我个人微信: jjdlm
日期 2023-06-12 10:48:40Kafka的灵魂伴侣Logi-KafkaManger(3)之运维管控--集群列表
推荐一款非常好用的kafka管理平台,kafka的灵魂伴侣 滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台 技术交流 有想进滴滴LogI开源用户群的加我个人微信: jjdlm
日期 2023-06-12 10:48:40Kafka运维大全来了！优化、监控、故障处理
Kafka运维大全来了！优化、监控、故障处理…… Kafka概念 Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的、可划分的、冗余备份的、持久性的日志服务。它主要用于处理活跃的流式数据。分布式系统，易于向外扩展。所有的producer、broker和consumer都会有
日期 2023-06-12 10:48:40kafka运维命令大全
转自：【kafka运维】Kafka全网最全最详细运维命令合集(精品强烈建议收藏!!!) https://mp.weixin.qq.com/s?__biz=Mzg4ODY1NTcxNg==&mid=2247484656&idx=3&sn=cf8b22b7631453b34cfb5c748056f41e&chksm=cff69efbf88117ed240376b6e2
日期 2023-06-12 10:48:40