求问有 kafka 的监控工具么？

2017-09-13 09:00:36 +08:00

yanzixuan

现在利用 kafka 来分发数据给不同的部门。

但是需要统计给不同部门分发的多少 BYTE 的数据。

条数我还能根据 cgroup 的 offset 来统计。

但是数据量大小就没啥思路了。

不知道有没有现成的工具没有。

5103 次点击

所在节点

9 条回复

gqlxj1987

2017-09-13 09:56:52 +08:00

kafka-manager

reAsOn

2017-09-13 09:57:57 +08:00

jmx 里面啥都有

ayiis

2017-09-13 10:26:12 +08:00

同 1 楼，km 用了近两年，总体满意

h3nng

2017-09-13 11:52:48 +08:00

哈哈，我们自己做了一个，比目前开源的工具都好太多（不过开源的也少），不过我们暂时没开源。。数据量 KAFKA 自身是有统计的，可以参考 2 楼说的 JMX，官网有 JMX 的各种 Bean

yanzixuan

2017-09-13 15:29:30 +08:00

@h3nng 目前自己写了个脚本。从 ZOOKEEPER 里面获取 cgroup 每个小时消费的数据然后丢 elasticsearch。
然后用 kibana 展示。目前先这么凑合着用了。。

AntonChen

2017-09-13 16:04:37 +08:00

ayiis

2017-09-13 16:32:15 +08:00

@AntonChen 这个我们以前用过，不稳定而且最高才支持到 0.9.0

AntonChen

2017-09-13 16:41:00 +08:00

@ayiis 我们现在线上就是 0.9.0.1 没毛病

messense

2017-09-18 00:05:01 +08:00

第 1 页／共 1 页

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.