Kafka单节点多broker的部署和使用
2023-09-14 09:14:45 时间
拷贝配置文件三份:
[hadoop@hadoop000 config]$ cp server.properties server-1.properties
[hadoop@hadoop000 config]$ cp server.properties server-2.properties
[hadoop@hadoop000 config]$ cp server.properties server-3.properties
修改每个配置文件:
[hadoop@hadoop000 config]$ vi server-1.properties
[hadoop@hadoop000 config]$ vi server-2.properties
[hadoop@hadoop000 config]$ vi server-3.properties
分别修改broker.id :分别为1 2 3
listeners :分别为 9093 9094 9095
log.dirs :分别为: kafka-logs-1 kafka-logs-2 kafka-logs-3
启动:-daemon(以后台的方式启动)
kafka-server-start.sh -daemon $KAFKA_HOME/config/server-1.properties &
kafka-server-start.sh -daemon $KAFKA_HOME/config/server-2.properties &
kafka-server-start.sh -daemon $KAFKA_HOME/config/server-3.properties &
创建三副本topic
kafka-topics.sh --create --zookeeper hadoop000:2181 --replication-factor 3 --partitions 1 --topic my-replication-topic
查看topic的详细信息:Leader:主节点 Isr:活的id
[hadoop@hadoop000 config]$ kafka-topics.sh --describe --zookeeper hadoop000:2181
Topic:hello_topic PartitionCount:1 ReplicationFactor:1 Configs:
Topic: hello_topic Partition: 0 Leader: 0 Replicas: 0 Isr: 0
Topic:my-replication-topic PartitionCount:1 ReplicationFactor:3 Configs:
Topic: my-replication-topic Partition: 0 Leader: 1 Replicas: 1,2,3 Isr: 1,2,3
启动生产者:
kafka-console-producer.sh --broker-list hadoop000:9093,hadoop000:9094,hadoop000:9095 --topic my-replication-topic
启动消费者:
kafka-console-consumer.sh --zookeeper hadoop000:2181 --topic my-replication-topic
相关文章
- 美团面试真题,如何保证Kafka消息不丢失?
- Kafka在美团数据平台的实践
- Kafka快速上手基础实践教程(一)
- (3)sparkstreaming从kafka接入实时数据流最终实现数据可视化展示
- 大数据必知必会之Kafka
- kafka批量删除topic_kafka清空数据
- kafka单条消息过大导致线上OOM,运维连夜跑路了!
- Kafka大厂高频面试题:在保证高性能、高吞吐的同时保证高可用性
- kafka 入门
- 面试系列-kafka偏移量提交
- Kafka学习之(三)Centos下给PHP开启Kafka扩展(rdkafka)详解程序员
- kafka原理解析-《Learning Apache Kafka, 2nd Edition.pdf》详解编程语言
- Kafka面试专题及答案
- Linux安装Kafka:一步一步操作指南(linux安装kafka)
- Oracle 数据流轻松集成 Kafka 服务:提高数据传输效率(oracle到kafka)
- Oracle与Kafka新一代数据处理技术(oracle与kafka)
- Oracle与Kafka的联合应用突破传统数据处理极限(oracle与kafka)