当前位置:首页 » 大数据精品文章 » 正文

kafka安装配置 linux

1643 人参与  2019年03月06日 17:42  分类 : 大数据精品文章  评论

1、下载http://mirrors.shuosc.org/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz

   下载http://mirror.bit.edu.cn/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgz


2、新建zookeeper和kafka文件夹目录,在zookeeper目录新建zkdata、zkdataLog目录,在kafka目录新建kafkaLogs目录。将1步骤中解压后的两个文件夹分别放入zookeeper和kafka目录。


3、进入zookeeper的conf目录,将zoo_sample.cfg复制一份zoo.cfg,修改zoo.cfg:

dataDir=/home/gaofeng/zookeeper/zkdata

dataLogDir=/home/gaofeng/zookeeper/zkdataLog


4、进入kafka的config目录,修改server.properties文件。

log.dirs=/home/gaofeng/kafka/kafkaLogs


5、启动Zookeeper,如果无报错则说明启动成功。

./bin/zkServer.sh start


6、查看Zookeeper是否启动成功

./bin/zkServer.sh status


7、启动Kafka

./bin/kafka-server-start.sh -daemon config/server.properties


8、我们可以使用jps终端命令查看是否启动(QuorumPeerMain是zookeeper服务):

[root@bogon kafka_2.12-1.1.0]# jps

4384 Kafka

3921 QuorumPeerMain

4412 Jps


9、使用kafka

1)、创建topic:

  ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

2)、查看topic: 

  ./bin/kafka-topics.sh --list --zookeeper localhost:2181

3)、生产者

  ./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

4)、消费者

  ./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

5)、删除topic

./bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

备注:[server.properties需要 设置delete.topic.enable=true]

sudo ifconfig enp2s0 10.102.7.165 netmask 255.255.255.0

来源:我是码农,转载请保留出处和链接!

本文链接:http://www.54manong.com/?id=1224

大数据技术与应用  

微信号:qq444848023    QQ号:444848023

加入【我是码农】QQ群:864689844(加群验证:我是码农)

<< 上一篇 下一篇 >>

网站分类

标签列表

最近发表

全站首页 | 数据结构 | 区块链| 大数据 | 机器学习 | 物联网和云计算 | 面试笔试

本站资源大部分来自互联网,版权归原作者所有!