本文预计阅读时间 6 分钟prometheus监控kafka常见的有两种开源方案,一种是传统的部署exporter的方式,一种是通过jmx配置监控,本文将采用第二种方式进行配置。项目地址:kafka_exporter:https://github.com/danielqsj/kafka_exporterjmx_exporter:https://gi……继续阅读 » eryajf 10个月前 (05-02) 2389浏览 3评论2个赞
本文预计阅读时间 36 分钟当日志量足够大的时候,就有必要使用kafka了,这里记录一下整个配置的流程。日志采集的流程简示如下:filebeat–> kafka–> logstash–> elasticsearch–> kiabana。版本如下:filebeat:6.5.4zookeeper-3.4……继续阅读 » eryajf 1年前 (2019-12-14) 12951浏览 0评论2个赞
本文预计阅读时间 18 分钟集群监控有不少方案,这里介绍一种国人研发的,经常看到有人推荐的一个方案,Kafka Eagle。1,资料。官网:https://www.kafka-eagle.org/index.htmlGithub:https://github.com/smartloli/kafka-eagle/官方文档:https://docs.k……继续阅读 » eryajf 2年前 (2019-07-07) 2278浏览 0评论1个赞
本文预计阅读时间 13 分钟1,准备工作1,主机准备。准备三台主机,都是CentOS-7,IP如下:192.168.106.7192.168.106.8192.168.106.9为了方便后续操作,先配置一下主机免密码登陆。[root@localhost ~]$ssh-keygen[root@localhost ~]$ssh-copy-id……继续阅读 » eryajf 2年前 (2019-07-05) 1541浏览 0评论2个赞
本文预计阅读时间 4 分钟1,简介Kafka 是一种高吞吐的分布式发布订阅消息系统,能够替代传统的消息队列用于解耦合数据处理,缓存未处理消息等,同时具有更高的吞吐率,支持分区、多副本、冗余,因此被广泛用于大规模消息数据处理应用。Kafka 支持Java 及多种其它语言客户端,可与Hadoop、Storm、Spark等其它大数据工具结合使用。2,下载kaf……继续阅读 » eryajf 2年前 (2019-07-05) 1991浏览 0评论2个赞