Kafka的安装与配置
一 jar包方式安装Kafka
jar包下载地址:https://kafka.apache.org/downloads下载
1.配置java环境
1.1、上传jdk-8u341-linux-x64.tar.gz到服务器并安装:
# tar -zxf jdk-8u341-linux-x64.tar.gz
1.2.配置环境变量:
vim /etc/profile
# 生效
source /etc/profile
# 验证
java -version
2 Zookeeper的安装配置
2.1、上传zookeeper-3.4.14.tar.gz到服务器
2.2、解压到/opt:
tar -zxf zookeeper-3.4.14.tar.gz -C /opt
cd /opt/zookeeper-3.4.14/conf
# 复制zoo_sample.cfg命名为zoo.cfg
cp zoo_sample.cfg zoo.cfg
# 编辑zoo.cfg文件
vim zoo.cfg
2.3、修改Zookeeper保存数据的目录,dataDir:
dataDir=/var/lagou/zookeeper/data
2.4、编辑/etc/profile:
设置环境变量ZOO_LOG_DIR,指定Zookeeper保存日志的位置;
ZOOKEEPER_PREFIX指向Zookeeper的解压目录;
将Zookeeper的bin目录添加到PATH中:
2.5、使配置生效:
source /etc/profile
2.6、验证:
3 Kafka的安装与配置
3.1、上传kafka_2.12-1.0.2.tgz到服务器并解压:
tar -zxf kafka_2.12-1.0.2.tgz -C /opt
3.2、配置环境变量并生效:
vim /etc/profile
3.3、配置/opt/kafka_2.12-1.0.2/config中的server.properties文件:
Kafka连接Zookeeper的地址,此处使用本地启动的Zookeeper实例,连接地址localhost:2181,后面的 kafkaDemo 是Kafka在Zookeeper中的根节点路径:
3.4、启动Zookeeper:
zkServer.sh start
3.5、确认Zookeeper的状态:
3.6、启动Kafka:
进入Kafka安装的根目录,执行如下命令:
kafka-server-start.sh ../config/server.properties
启动成功:
3.7、查看Zookeeper的节点:
./zkCli.sh
ls /kafkaDemo
3.8、此时Kafka是前台模式启动,要停止,使用Ctrl+C。
如果要后台启动,使用命令:
kafka-server-start.sh -daemon ../config/server.properties
查看kafka进程:
ps -ef | grep kafka
停止后台运行的kafka:
kafka-server-stop.sh
3.9、 验证kafka是否可以正常使用
kafka-console-producer.sh用于生产消息:
# kafka-console-producer.sh --topic topic_1 --broker-list localhost:9092
kafka-console-consumer.sh用于消费消息:
# kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_1
二 Docker安装Kafka
1.docker安装zookeeper
1.1、拉取zookeeper镜像
# docker pull wurstmeister/zookeeper
1.2、启动zookeeper
# docker run -d --name zookeeper -p 2181:2181 -e TZ="Asia/Shanghai" --restart always wurstmeister/zookeeper
1.3、查看zookeeper的启动信息
# docker logs -f zookeeper
2.docker安装kafka
2.1、拉取镜像
# docker pull wurstmeister/kafka
2.2、启动kafka
docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=<这里换成你的zookeeper地址和端口> -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://<这里换成你的kafka地址和端口> -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -e TZ="Asia/Shanghai" wurstmeister/kafka
启动环境变量参数说明
变量 | 描述 |
KAFKA_BROKER_ID | kafka集群中每个kafka都有一个BROKER_ID来区分自己 |
KAFKA_ADVERTISED_LISTENERS | kafka的地址和端口,用于向zookeeper注册 |
KAFKA_ZOOKEEPER_CONNECT | zookeeper地址 |
KAFKA_LISTENERS | kafka监听端口 |
TZ | 容器时区改为上海 |
2.3、验证kafka是否可以使用
docker exec -it kafka /bin/sh
进入路径:/opt/kafka_2.13-2.7.0/bin下
运行kafka生产者发送消息
./kafka-console-producer.sh --broker-list localhost:9092 --topic topic_1
发送消息
另打开窗口消费者消费消息
kafka-console-consumer.sh --bootstrap-server localhost:9092 - -topic topic_1 --from-beginning
相关文章
- 我这样写代码,比直接使用 MyBatis 效率提高了100倍!
- 运维大牛万字自述:道尽十多年血泪史与转型自救路
- 架构揭秘:「京东白条」的数据架构进化之路
- 8-HC32F460(华大单片机)-串口(定时器空闲检测)
- 只需要十分之一数据,就能通关四大视觉任务,居然还开源了!
- 107-ESP32_SDK开发-flash数据存储nvs
- openpyxl库由于不支持数据验证扩展导致的读取excel报“Data Validation extension is not supported and will be removed“错解决方法
- 2-CH579M+(Air724UG,4G)物联网开发-移植单片机MQTT包,实现CH579M+Air724UG(4G)连接MQTT服务器
- 阿里达摩院开源新框架:入局隐私保护计算,联邦学习迎来重磅玩家
- 106-ESP32_SDK开发-SPI
- 独家 | Bamboolib:你所见过的最有用的Python库之一(附链接)
- Oracle数据库ORA-12516:“listener could not find available handler with matching protocol stack!“问题解决方法
- PG 数据库锁表问题解决方案:查询pg数据库锁表的语句和进程,通过进程pid杀掉进程进行批量表解锁
- Facebook工程师文件泄露:承认违法使用用户数据,或将面临全球收入4%的罚款
- 不会太大、密集的纯文本模型,GPT-4的新一波预测来了
- 111-STM32+ESP8266+AIR202基本控制篇
- 国产化达梦数据库数据迁移文档:oracle11g数据库转达梦8数据库实例演示
- 有人一周内清理了PASCAL数据集中的17120张图像,将mAP提高了13%
- 国产化人大金仓数据库转库工具:oracle12c数据库转kingbase8.6人大金仓数据库实例演示
- windows服务器下oracle数据库查看客户端安装位置,查看oracle数据库实例启用的端口号