Kafka集群搭建配置与eagle监控界面
2023-09-11 14:16:28 时间
kafka集群环境搭建
首先在多台机器上搭建配置Kafka环境,可以参考Kafak环境搭建:
集群搭建配置
对于kafka来说,一个单独的broker意味着kafka集群中只有一个节点。要想增加kafka集群中的节点数量,只需要多启动几个broker实例即可。为了有更好的理解,现在我们在一台机器上同时启动三个broker例。
首先,我们需要建立好其他2个broker的配置文件:
cp config/server.properties config/server-1.properties
cp config/server.properties config/server-2.properties
配置文件需要修改的内容分别如下:
config/server-1.properties:
#broker.id属性在kafka集群中必须要是唯一
broker.id=1
#kafka部署的机器ip和提供服务的端口号
listeners=PLAINTEXT://192.168.36.131:9093
log路径
log.dir=/usr/local/data/kafka-logs-1
#kafka连接zookeeper的地址,要把多个kafka实例组成集群,对应连接的zookeeper必须相同 zookeeper.connect=192.168.36.131:2181
config/server-2.properties:
broker.id=2
listeners=PLAINTEXT://192.168.36.131:9094
log.dir=/usr/local/data/kafka-logs-2
zookeeper.connect=192.168.36.131:2181
启动两个broker结点:
bin/kafka-server-start.sh -daemon config/server-1.properties
bin/kafka-server-start.sh -daemon config/server-2.properties
Kafka-Eagle 安装
修改 kafka-server-start.sh 命令中的 jvm参数
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi
为
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -
XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -
XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -
XX:InitiatingHeapOccupancyPercent=70"
export JMX_PORT="9999"
#export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi
下载kafka-eagle
官网:https://www.kafka-eagle.org/
解压配置 环境变量
export KE_HOME=/soft/eagle3.0.1
export JAVA_HOME=/soft/java
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin:$KE_HOME/bin
修改 eagle配置文件
vim conf/system-config.properties
修改数据库配置信息
efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://node02:33306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
efak.username=root
efak.password=root
启动/关闭eagle
bin/ke.sh start
bin/ke.sh stop
相关文章
- Kafka压测— 搞垮kafka的方法(转)
- Kafka实战-Storm Cluster
- KAFKA安装+配置详解+常用操作+监控
- Kafka的配置文件详细描述
- kafka-eagle下载地址
- kafka启动异常:kafka.common.InconsistentClusterIdException: The Cluster ID xxx
- Kafka 2.7.0服务器允许客户端远程连接
- kafka数据文件.log
- kafka详解三:开发Kafka应用
- KAFKA EAGLE 监控MRS kafka之操作实践
- kafka客户端代码解析
- kafka在zookeeper上的节点信息和查看方式
- ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
- 消息中间件 kafka rabbitmq 选型差异
- 在 Kubernetes 上运行高可用的 Kafka 集群
- Kafka auto.offset.reset值详解
- kafka自动提交offset失败:Auto offset commit failed
- Kafka 调优
- Kafka 动态配置
- 【2023】DevOps、SRE、运维开发面试宝典之Kafka相关面试题
- kafka-集群监控