Kafka Eagle V2.0.0新版预览详解大数据

1.概述

Kafka Eagle是一款用于管理Kafka的监控系统，且完全开源。当前Kafka Eagle发布了2.0.0版本。今天笔者就为大家来介绍一下2.0.0更新了哪些功能。

官网地址：IT虾米网 开源地址：IT虾米网

Kafka Eagle所包含的功能有数据面板、数据大屏、主题列表、消费者组、集群详情、监控中心、告警策略、系统管理等功能。那在Kafka Eagle V2.0.0中又升级了哪些功能呢？

2.1 支持Zookeeper ACL

在V2.0.0版本中，修复了对Zookeeper ACL的支持。比如，我们的Zookeeper的集群开启了DigestLoginModule。

在Zookeeper集群中的zoo.cfg中添加如下配置：

# add acl 

authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider

然后，在$ZK_HOME/conf目录中添加服务端认证文件zk_server.conf

Server{ 

 org.apache.zookeeper.server.auth.DigestLoginModule required 

 user_admin="admin123" 

 user_test="test123"; 

};

接着，在$ZK_HOME/conf目录中添加客户端认证文件zk_client.conf

Client { 

 org.apache.zookeeper.server.auth.DigestLoginModule required 

 username="test" 

 password="test123"; 

};

修改Zookeeper中zkEnv.sh脚本，添加如下内容：

### 

SERVER_JVMFLAGS="-Djava.security.auth.login.config=/Users/dengjie/workspace/zookeeper-3.4.6-acl/conf/zk_server.conf" 

CLIENT_JVMFLAGS="${CLIENT_JVMFLAGS} -Djava.security.auth.login.config=/Users/dengjie/workspace/zookeeper-3.4.6-acl/conf/zk_client.conf" 

export SERVER_JVMFLAGS="$SERVER_JVMFLAGS" 

export CLIENT_JVMFLAGS="$CLIENT_JVMFLAGS" 

###

这里需要注意的时，其中Zookeeper服务进程后，创建的znode默认是有所有权限的，需要我们额外授权。比如我们创建一个/znode01

 然后，我们开始创建一个test用户，并授权所有权限，执行命令和结果如下：

[zk: 127.0.0.1:2182(CONNECTED) 3] addauth digest test:test123 

[zk: 127.0.0.1:2182(CONNECTED) 4] setAcl /znode01 auth:test:cdrwa 

cZxid = 0x100 

ctime = Sun Jul 12 11:54:24 CST 2020 

mZxid = 0x100 

mtime = Sun Jul 12 11:54:24 CST 2020 

pZxid = 0x100 

cversion = 0 

dataVersion = 0 

aclVersion = 1 

ephemeralOwner = 0x0 

dataLength = 2 

numChildren = 0 

[zk: 127.0.0.1:2182(CONNECTED) 5] getAcl /znode01 

sasl,test 

: cdrwa 

digest,test:4kLbCbLRytYsfNQkaDbMuExRDDs= 

: cdrwa

接着，我们用一个没有授权的zkCli去访问znode01，会出现没有权限：

 而我们用授权的zkCli去访问，是可以正常访问的

Zookeeper ACL集群部署好后，那么Kafka Eagle中如何进行配置呢？

2.2 Kafka Eagle中配置Zookeeper ACL

在Kafka Eagle V2.0.0中，对Zookeeper ACL配置进行了简化，只需在$KE_HOME/conf/system-config.properties中添加如下内容：

###################################### 

# multi zookeeper kafka cluster list 

###################################### 

kafka.eagle.zk.cluster.alias=cluster4 

cluster4.zk.list=127.0.0.1:2182 

###################################### 

# zookeeper enable acl 

###################################### 

cluster4.zk.acl.enable=true 

cluster4.zk.acl.schema=digest 

cluster4.zk.acl.username=test 

cluster4.zk.acl.password=test123

最后，我们执行 ke.sh start 启动Kafka Eagle服务。如下图所示：

2.3 KSQL解析和查询优化

在V2.0.0中，对KSQL查询Topic中的数据，从解析到查询进行了优化。比如：

# 旧版本 

select * from "ke_topic" where "partition" in (0,1,2) limit 10 

# 新版本 

# 这里partition是SQL关键字，不能直接写，需要用``进行转义 

select * from ke_topic where `partition` in (0,1,2) limit 10

同时，支持JSON解析数据，LIKE模糊查询等功能，具体用法参考官网[KSQL]

底层查询逻辑也做了大量优化，统一采用calcite来做解析引擎和执行引擎。预览截图如下：

2.4 调试小技巧

在安装Kafka Eagle的过程中，有同学可能会遇到一些问题，比如服务地址无法打开、页面显示不完整、页面数据无法显示等问题。

2.4.1 服务地址无法打开

这里，针对服务地址无法打开的问题，我们先去看看Kafka Eagle的启动日志（$KE_HOME/logs/ke_console.out），可能是部署失败了，导致服务没有启动，所有服务地址无法打开。

2.4.2 页面显示不完整

页面显示不完整，比如KSQL查询输入框显示异常、Kafka监控日期选择控件异常等，这些可能是由于服务限制了静态资源的加载。可以看看部署Kafka Eagle的服务器上，是否配置了Nginx限制。

2.4.3 页面数据无法显示

可能是浏览器存在缓存，可以在浏览器中右键对浏览器进行检查，如下图所示：

 然后，切换到Network，找到Disable cache进行勾选，最后在刷新浏览器，对缓存进行更新

如果，重试了这些方法后，还是无法解决使用Kafka Eagle的问题，可以在博客下面进行留言，或者添加下面的QQ群，进行咨询作者。

Kafka Eagle提供了简单易用的操作界面，支持Kafka和Zookeeper的ACL认证监控，满足常规的消费者组、集群性能、消息容量、多集群管理、多IM告警（微信、钉钉、邮件、WebHook）等多功能。Github Star超过1300+，处理大家提交的Issue 300+多个，如果你Kafka集群缺少监控，不妨可以试试Kafka Eagle。如果觉得对你有所帮助，可以在Github上给个Star，最后感谢大家对Kafka Eagle的支持，Kafka Eagle社区会对大家提供的建议和留言，进行考虑，为大家提供更加好用的Kafka监控。

4.结束语

这篇博客就和大家分享到这里，如果大家在研究学习的过程当中有什么问题，可以加群进行讨论或发送邮件给我，我会尽我所能为您解答，与君共勉！

另外，博主出书了《Kafka并不难学》和《Hadoop大数据挖掘从入门到进阶实战》，喜欢的朋友或同学， 可以在公告栏那里点击购买链接购买博主的书进行学习，在此感谢大家的支持。关注下面公众号，根据提示，可免费获取书籍的教学视频。

原创文章，作者：Maggie-Hunter，如若转载，请注明出处：https://blog.ytso.com/9972.html

分布式文件系统，分布式数据库区块链并行处理（MPP）数据库，数据挖掘开源大数据平台数据中台数据分析数据开发数据治理数据湖数据采集