提供了编程的基础技术教程

zl程序教程

您现在的位置是：首页 >  大数据

当前栏目

0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用

Kafka认证 使用 如何 启用 中为 CDP 7.1
2023-06-13 09:11:31 时间

1.文档编写目的

在CDP集群中启用了Kerberos认证，那么Kafka集群能否与Kerberos认证服务集成呢？本文主要讲述如何通过Cloudera Manager为Kafka集群启用Kerberos认证及客户端配置使用。

  • 内容概述

1.修改Kafka配置

2.配置客户端

3.客户端测试Producer和Consumer

  • 测试环境

1.RedHat7.6

2.CM版本7.3.1和CDP版本7.1.4

3.采用root用户

4.Kafka2.4.1

2.修改Kafka配置

1.登录Cloudera Manager进入Kafka服务，修改ssl.client.auth配置为none

2.Kafka启用Kerberos

3.修改security.inter.broker.protocol配置为SASL_PLAINTEXT

4.保存以上修改的配置后，回到主页根据提示重启Kafka Server

完成以上配置就可以为Kafka集群启用Kerberos认证。

3.配置客户端

1.创建jaas.conf文件

如果你先使用kinit初始化Kerberos账号，则jaas.conf配置文件内容如下：

1KafkaClient {
2    com.sun.security.auth.module.Krb5LoginModule required
3    useTicketCache=true;
4};

如果使用keytab文件初始化Kerberos账号，则jaas-keytab.conf配置文件内容如下：

1KafkaClient {
2   com.sun.security.auth.module.Krb5LoginModule required
3   useKeyTab=true
4   keyTab="/root/fayson.keytab"
5   principal="fayson@MACRO.COM";
6};

2.创建client.properties文件，内容如下

1security.protocol=SASL_PLAINTEXT
2sasl.kerberos.service.name=kafka

4.客户端测试Producer和Consumer及简单使用

1.设置KAFKA_OPTS环境变量

1export KAFKA_OPTS="-Djava.security.auth.login.config=/root/jaas.conf"

或者

1export KAFKA_OPTS="-Djava.security.auth.login.config=/root/jaas-keytab.conf"

如果使用jaas.conf文件设置环境变量则需要先使用kinit初始化Kerberos账号。

2.创建Topic

1kafka-topics --create --partitions 3 --replication-factor 1 --topic test3 --bootstrap-server 192.168.0.55:9092,192.168.0.165:9092,192.168.0.165:9092 --command-config client.properties

3.查看所有Topic

1kafka-topics --list --bootstrap-server 192.168.0.55:9092  --command-config client.properties

4.查看Topic描述信息

1kafka-topics --describe --topic test3 --bootstrap-server 192.168.0.55:9092  --command-config client.properties

5.修改Topic分区数

1kafka-topics --bootstrap-server 192.168.0.55:9092 -alter --partitions 4 --topic test3 --command-config client.properties

6.运行Kafka的Producer

1kafka-console-producer --broker-list 192.168.0.55:9092 --topic test3 --producer.config client.properties
2...
3hello
4world

7.运行Kafka的Consumer

1export KAFKA_OPTS="-Djava.security.auth.login.config=/root/jaas.conf"
2kafka-console-consumer --topic tes3 --from-beginning --bootstrap-server 192.168.0.55:9092,192.168.0.165:9092,192.168.0.165:9092 --consumer.config client.properties
3...
4hello
5world

8.删除Topic

1kafka-topics --delete --topic test3 --bootstrap-server 192.168.0.55:9092,192.168.0.165:9092,192.168.0.165:9092 --command-config client.properties

删除成功

参考文档：

https://docs.cloudera.com/cdp-private-cloud-base/7.1.7/kafka-securing/topics/kafka-secure-kerberos-enable.html

相关文章