本文预计阅读时间 6 分钟prometheus监控kafka常见的有两种开源方案，一种是传统的部署exporter的方式，一种是通过jmx配置监控，本文将采用第二种方式进行配置。项目地址：kafka_exporter：https://github.com/danielqsj/kafka_exporterjmx_exporter：https://gi……继续阅读 » eryajf 2个月前 (05-02) 460浏览 3评论2个赞
本文预计阅读时间 36 分钟当日志量足够大的时候，就有必要使用kafka了，这里记录一下整个配置的流程。日志采集的流程简示如下：filebeat–> kafka–> logstash–> elasticsearch–> kiabana。版本如下：filebeat：6.5.4zookeeper-3.4……继续阅读 » eryajf 7个月前 (12-14) 7171浏览 0评论2个赞
本文预计阅读时间 18 分钟集群监控有不少方案，这里介绍一种国人研发的，经常看到有人推荐的一个方案，Kafka Eagle。1，资料。官网：https://www.kafka-eagle.org/index.htmlGithub：https://github.com/smartloli/kafka-eagle/官方文档：https://docs.k……继续阅读 » eryajf 1年前 (2019-07-07) 1537浏览 0评论1个赞
本文预计阅读时间 13 分钟1，准备工作1，主机准备。准备三台主机，都是CentOS-7，IP如下：192.168.106.7192.168.106.8192.168.106.9为了方便后续操作，先配置一下主机免密码登陆。[root@localhost ~]$ssh-keygen[root@localhost ~]$ssh-copy-id……继续阅读 » eryajf 1年前 (2019-07-05) 1009浏览 0评论2个赞
本文预计阅读时间 4 分钟1，简介Kafka 是一种高吞吐的分布式发布订阅消息系统，能够替代传统的消息队列用于解耦合数据处理，缓存未处理消息等，同时具有更高的吞吐率，支持分区、多副本、冗余，因此被广泛用于大规模消息数据处理应用。Kafka 支持Java 及多种其它语言客户端，可与Hadoop、Storm、Spark等其它大数据工具结合使用。2，下载kaf……继续阅读 » eryajf 1年前 (2019-07-05) 1214浏览 0评论2个赞
