【云原生 | Kubernetes 系列】---Kafka 集群安装配置手册
2023-09-14 09:09:03 时间
Kafka
支持zk的动态扩容
即使普通服务器也支持每秒数百万的消息传递,支持分区消息提高性能
1个kafka服务器至少有1个或多个服务器,这种服务器被称为broker.
Topic每个发到kafka的消息都有一个类别,这个类别称为topic,topic逻辑上对record进行分组保存.消费者需要订阅topic才能消费topic中的消息.
Partition是物理上的概念,每个topic包含一个或多个partition,创建topic时可以指定partition的数量.每个partition对应的一个文件夹,该文件夹下存储该partition的数据和索引.为了实现数据的高可用,每个分区都有一个broker作为leader和一个broker作为follwer
1. 下载
https://kafka.apache.org/downloads
2. 安装
root@zookeeper-1:/apps# tar xf kafka_2.13-3.2.1.tgz
root@zookeeper-1:/apps# cd kafka_2.13-3.2.1/
root@zookeeper-1:/apps# mkdir -p /data/kafka
3. 修改配置文件
vi config/server.properties
## 24行/3台服务器这里确保不一样就可以,我们将zk-1设置成1,zk-2设置成2,zk-3设置成3
broker.id=1
## 35行/设置为自己ip地址
listeners=PLAINTEXT://192.168.31.121:9092
## 63行/kafka数据目录
log.dirs=/data/kafka
## 68行/设置成和节点数一样,提高写入io
num.partitions=3
## 106行/数据过期时间 168/24=7天
log.retention.hours=168
## 126行/zookeeper集群地址,用逗号分隔
zookeeper.connect=192.168.31.121:2181,192.168.31.122:2181,192.168.31.123:2181
4. 启动kafka
/apps/kafka_2.13-3.2.1/bin/kafka-server-start.sh /apps/kafka_2.13-3.2.1/config/server.properties &
相关文章
- 回顾 | Kubernetes SIG-Cloud-Provider-Alibaba 首次网研会(含 PPT 下载)
- Kubernetes 外部 Storage Provider
- 【收藏】Kubernetes(十七) 基于NFS的动态存储申请
- 【云原生 | Kubernetes 系列】--Gitops持续交付 CD Push Pipeline实现
- ABAP和Go语言的初始化操作, Kubernetes的Init Container
- y57.第三章 Kubernetes从入门到精通 -- 业务镜像版本升级及回滚(三十)
- kubernetes集群之调度系统
- Kubernetes集群服务发现之Ingress资源详解(三十)
- 在 Kubernetes 上运行高可用的 Kafka 集群
- Kubernetes 存储管理PV
- 对决:Kubernetes vs Docker Swarm - 谁才是最优秀的容器编排方案?
- Kubernetes 如何构建高可用集群
- Kubernetes 证书配置
- Kubernetes Pod Resource和Qos
- Kubernetes PodSecurityPolicy 资源介绍
- 【云原生 | Kubernetes 系列】----Grafana 安装