node.js PaddleHub Redis string shell object parsing optimization stack yii ACE 品优购电商系统开发 网络营销视频 jquery绑定事件的方法 jquery解析json linux源码在线阅读 android调试工具 pcie高速固态硬盘 git下载项目 svn查看历史版本 mysql更新 python断言assert实例 python注释 python服务器开发 java学习基础 如何查看java版本 java自定义异常 java重命名 java中文文档 linux中grep linux系统安装教程图解 java网络编程 flash相册制作 灼热峡谷 小米5c拆机 idataparameter win10环境变量 js代码混淆工具 pr动态字幕 软件龙头股
当前位置: 首页 > 学习教程  > 编程语言

Kafka单点与集群安装指南

2020/10/16 18:24:52 文章标签:

版本:kafka_2.11-1.1.1.tgz 准备: 下载安装包:http://kafka.apache.org/downloads 虚拟机,集群安装准备三个节点 JDK1.8 zookeeper-3.4.14 一、单点安装 1.上传压缩包至虚拟机 scp kafka_2.11-1.1.1.tgz hadoophadoop001:…

版本:kafka_2.11-1.1.1.tgz

准备:

下载安装包:http://kafka.apache.org/downloads

虚拟机,集群安装准备三个节点

JDK1.8

zookeeper-3.4.14

一、单点安装

1.上传压缩包至虚拟机

scp kafka_2.11-1.1.1.tgz hadoop@hadoop001:/home/hadoop/software

2.解压

tar -zxvf kafka_2.11-1.1.1.tgz 

3.移动解压文件到安装目录

mv kafka_2.11-1.1.1 /home/hadoop/app/

我是把所有的服务都部署在home目录下

4.编辑服务配置文件

vim config/server.properties

5.修改配置文件

#这里需要指定对外的服务地址,我自己设置了host,所以直接用了域名
listeners=PLAINTEXT://hadoop000:9092
#zookeeper服务是一个三节点的集群
zookeeper.connect=hadoop000:2181,hadoop001:2181,hadoop002:2181                                                                                                                  

在单点部署中其他的属性都用默认值就可以。

6.启动kafka

./bin/kafka-server-start.sh  config/server.properties 
#后台启动
./bin/kafka-server-start.sh  config/server.properties &
./bin/kafka-server-start.sh  -daemon  config/server.properties

7.验证是否启动成功

jps

45977 Kafka

8.验证服务

创建topic

bin/kafka-topics.sh --zookeeper hadoop000:2181 --create --topic test --partitions 4 --replication-factor 1

这里的--zookeeper,--partitions,--replication-factor都是必须要有的,同时因为是单点服务,所以replication-factor的参数值只能是1

 

启动consumer消费者

bin/kafka-console-consumer.sh --bootstrap-server hadoop000:9092 --topic test

启动生产者

bin/kafka-console-producer.sh --broker-list hadoop000:9092 --topic test

在生产者界面输入hello, world!,查看消息是否被消费者消费。

 

二、集群安装

通过单点安装,kafka服务已经可以使用了,现在在单点安装的基础上进行集群安装

1.将单点安装的kafka文件复制到其他两台服务器上

scp -r kafka_2.11-1.1.1/ hadoop@hadoop001:/home/hadoop/app
scp -r kafka_2.11-1.1.1/ hadoop@hadoop002:/home/hadoop/app

2.修改3台kafka的配置文件

hadoop000
broker.id=0
listeners=PLAINTEXT://hadoop000:9092

hadoop001
broker.id=1
listeners=PLAINTEXT://hadoop001:9092

hadoop002
broker.id=2
listeners=PLAINTEXT://hadoop002:9092

3.添加环境变量

vim ~/.bash_profile

export KAFKA_HOME=/home/hadoop/app/kafka_2.11-1.1.1
export PATH=$KAFKA_HOME/bin:$PATH

source ~/.bash_profile

4.启动kafka服务

./bin/kafka-server-start.sh  config/server.properties 
#后台启动
./bin/kafka-server-start.sh  config/server.properties &
./bin/kafka-server-start.sh  -daemon  config/server.properties

5.创建topic

bin/kafka-topics.sh --zookeeper hadoop000:2181,hadoop001:2181,hadoop002:2181 --create --topic tests --partitions 4 --replication-factor 3

6.在hadoop000,hadoop001,hadoop002服务器上启动消费者

bin/kafka-console-consumer.sh --bootstrap-server hadoop000:9092,hadoop001:9092,hadoop002:9092 --topic tests

7.在hadoop000,hadoop001,hadoop002上启动生产者

bin/kafka-console-producer.sh --broker-list hadoop000:9092,hadoop001:9092,hadoop002:9092 --topic tests

8.每个生产者界面输入一段消息文本,每个消费这个都会消费这条消息,三个消费者同时消费


本文链接: http://www.dtmao.cc/news_show_300416.shtml

附件下载

相关教程

    暂无相关的数据...

共有条评论 网友评论

验证码: 看不清楚?