• 对于注定会优秀的人来说,他所需要的,只是时间----博主
  • 手懒得,必受贫穷,手勤的,必得富足----《圣经》
  • 帮助别人,成就自己。愿君在本站能真正有所收获!
  • 如果你在本站中发现任何问题,欢迎留言指正!
  • 宝剑锋从磨砺出,梅花香自苦寒来!
  • 本站开启了防爆破关小黑屋机制,如果您是正常登录但被关进小黑屋,请联系站长解除!

<一>Kafka学习笔记–kafka-2.11单机部署

kafka eryajf 3周前 (07-05) 70°C 已收录 0个评论
本文预计阅读时间 4 分钟

1,简介

Kafka 是一种高吞吐的分布式发布订阅消息系统,能够替代传统的消息队列用于解耦合数据处理,缓存未处理消息等,同时具有更高的吞吐率,支持分区、多副本、冗余,因此被广泛用于大规模消息数据处理应用。Kafka 支持Java 及多种其它语言客户端,可与Hadoop、Storm、Spark等其它大数据工具结合使用。

2,下载kafka:

wget https://mirrors.cnnic.cn/apache/kafka/0.11.0.2/kafka_2.11-0.11.0.2.tgz

3,安装JDK

Kafka 使用Zookeeper 来保存相关配置信息,Kafka及Zookeeper 依赖Java 运行环境。

通过如下命令安装:curl 192.168.1.1/a | sh

此种安装方式可以参考这里

4,安装Kafka

从官网下载Kafka 安装包,解压安装:

tar -xf kafka_2.11-0.11.0.2.tgz     
mv kafka_2.11-0.11.0.2 /usr/local/kafka
cd kafka

1,启动kafka

  • 1,启动zookeeper。
    使用安装包中的脚本启动单节点Zookeeper 实例:

    bin/zookeeper-server-start.sh -daemon  config/zookeeper.properties
    

看其他教程说这个地方会有一些标准输出,但是我在使用的过程中并没有将见到有什么输出。

根据是否出现红框内QuorumPeerMain,验证启动是否成功。

  • 2,启动kafka服务。
    bin/kafka-server-start.sh -daemon config/server.properties
    

    务必将进程放入后台执行,否则会一直停在一个界面之中。

2,功能验证

  • 1,创建topic

    使用kafka-topics.sh 创建单分区单副本的topic test:

    bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
    
  • 2,查看topic:
    bin/kafka-topics.sh --list --zookeeper localhost:2181
    

    如果输出一个test说明正常。

  • 3,产生消息

使用kafka-console-producer.sh 发送消息:

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 

Hello world!
Hello Kafka!
  • 4,消费消息

使用kafka-console-consumer.sh 接收消息并在终端打印:

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

Hello world!
Hello Kafka!

weinxin
扫码订阅本站,第一时间获得更新
微信扫描二维码,订阅我们网站的动态,另外不定时发送WordPress小技巧,你可以随时退订,欢迎订阅哦~

二丫讲梵 , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权 , 转载请注明<一>Kafka学习笔记–kafka-2.11单机部署
喜欢 (0)
[如果想支持本站,可支付宝赞助]
分享 (0)
eryajf
关于作者:
学无止境,我愿意无止境学。书山有路,我愿意举身投火,淬炼成金!

您必须 登录 才能发表评论!