kafka的监控系统,试试Kafka Eagle怎么样

在实际生产中,对于kafka的监控是非常重要的,因为我们需要了解消费情况,topic的管理,broker的管理等,目前kafka常用的监控系统有下面三个

(1),Kafka Web Conslole

(2),Kafka Manager

(3),KafkaOffsetMonitor

但他们都或多或少存在一些问题,使用起来不是特别方便,今天给大家介绍的是另外一个监控系统Kafka Eagle,下面先来说一下它的安装.

1,下载地址:http://download.kafka-eagle.org/ 如果觉得下载的比较慢的话,可以找我,我这边有下载好的.

2,解压,配置环境变量,都比较简单,这里就不在写了.

3,配置文件的介绍


# 配置多个Kafka集群所对应的Zookeeper
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=master:2181,storm1:2181,storm2:2181

# 设置Zookeeper线程数
kafka.zk.limit.size=10

# 设置Kafka Eagle浏览器访问端口
kafka.eagle.webui.port=8048

# 如果你的offsets存储在Kafka中,这里就配置
# 属性值为kafka,如果是在Zookeeper中,可以
# 注释该属性。一般情况下,Offsets的也和你消
# 费者API有关系,如果你使用的Kafka版本为0.10.x
# 以后的版本,但是,你的消费API使用的是0.8.2.x
# 时的API,此时消费者依然是在Zookeeper中
cluster1.kafka.eagle.offset.storage=kafka

# 邮件服务器设置,用来告警,可以设置钉钉或者是微信
#kafka.eagle.im.dingding.enable=true
#kafka.eagle.im.dingding.url=
#kafka.eagle.im.wechat.enable=true
#kafka.eagle.im.wechat.token=
#kafka.eagle.im.wechat.url=
#kafka.eagle.im.wechat.touser=
#kafka.eagle.im.wechat.toparty=
#kafka.eagle.im.wechat.totag=
#kafka.eagle.im.wechat.agentid=

# 是否启动监控图表,默认是不启动的
kafka.eagle.metrics.charts=true

# 在使用Kafka SQL查询主题时,如果遇到错误,
# 可以尝试开启这个属性,默认情况下,不开启
kafka.eagle.sql.fix.error=false

# 超级管理员删除主题的Token
kafka.eagle.topic.token=keadmin

# 如果启动Kafka SASL协议,开启该属性
cluster1.kafka.eagle.sasl.enable=false
cluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster1.kafka.eagle.sasl.mechanism=PLAIN
cluster2.kafka.eagle.sasl.enable=false
cluster2.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster2.kafka.eagle.sasl.mechanism=PLAIN

# Kafka Eagle默认存储在Sqlite中,如果要使用
# MySQL可以替换驱动、用户名、密码、连接地址
#kafka.eagle.driver=org.sqlite.JDBC
#kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db
#kafka.eagle.username=root
#kafka.eagle.password=smartloli

# <Optional> set mysql address
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=******
kafka.eagle.username=*****
kafka.eagle.password=******

4,启动

cd ${KE_HOME}/bin
chmod +x ke.sh
./ke.sh start

下面是登录的页面,默认账号/密码为:admin/123456

图片

登录上后可以看到主页面,如下图所示

图片

我简单的用了一下,主要包括的功能有,支持管理多个Kafka集群、管理Kafka主题(包含查看、删除、创建等)、消费者组合消费者实例监控、消息阻塞告警、Kafka集群健康状态查看等。支持管理多个Kafka集群、管理Kafka主题(包含查看、删除、创建等)、消费者组合消费者实例监控、消息阻塞告警、Kafka集群健康状态查看等。

使用完的感觉是功能还是比较全面的,但是感觉页面的响应速度有点慢,点击完需要等的时间有点长,这一点的用户体验不是很好,当然了,这里面还有很多功能,我还没有体验到的,大家有兴趣的可以自己尝试一下.

阅读原文

简介:主要专注于实时计算领域 会不定时更新 Flink Spark 系列原理以及源码分析的文章。欢迎关注微信公众号:JasonLee实时计算
(0)
打赏 喜欢就点个赞支持下吧 喜欢就点个赞支持下吧

声明:本文来自“JasonLee实时计算”,分享链接:https://www.zyxiao.com/p/302406    侵权投诉

网站客服
网站客服
内容投稿 侵权处理
分享本页
返回顶部