Kafka下载与安装教程（超级详细-实操）

一、下载kafka软件包

1、官网下载

（1）下载地址：Apache Kafka

（2）将下载好的安装包上传到服务器

2、使用wget命令下载

#使用wget方式下载 wget https://downloads.apache.org/kafka/3.7.1/kafka_2.13-3.7.1.tgz

二、解压kafka安装包

1、解压到/usr/local/目录下

tar -xzvf kafka_2.12-3.9.0.tgz -C /usr/local

2、创建kafka数据目录

mkdir -p /usr/local/kafka_2.12-3.9.0/data/kafka-logs

3、配置环境变量

查看jdk安装目录命令：

readlink -f $(which java)

#vim /etc/profile export JAVA_HOME=/usr/local/jdk8u272-b10/bin/java #JDK安装目录export ZOOKEEPER_HOME=/usr/local/zookeeper/apache-zookeeper-3.9.3-bin/ #zookeeper安装目录export KAFKA_HOME=/usr/local/kafka_2.12-3.9.0/ #kafka安装目录export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$KAFKA_HOME/bin 

4、使环境变量生效

source /etc/profile

5、编辑kafka配置文件

vim /usr/local/kafka_2.12-3.9.0/config/server.properties

节点1配置 ，注意：broker.id是每个broker在集群中的唯一标识，正整数

# 编辑kafka1 的配置broker.id=1 # 连接zookeeper的集群地址zookeeper.connect=10.22.82.31:2181,10.22.82.32:2181,10.22.82.33:2181advertised.listeners=PLAINTEXT://10.22.82.31:9092 log.dirs=/usr/local/kafka_2.12-3.9.0/data/kafka-logs

节点2配置：

# 编辑kafka2 的配置broker.id=2 # 连接zookeeper的集群地址zookeeper.connect=10.22.82.31:2181,10.22.82.32:2181,10.22.82.33:2181advertised.listeners=PLAINTEXT://10.22.82.32:9092 log.dirs=/usr/local/kafka_2.12-3.9.0/data/kafka-logs

节点3配置：

# 编辑kafka3 的配置broker.id=3 # 连接zookeeper的集群地址zookeeper.connect=10.22.82.31:2181,10.22.82.32:2181,10.22.82.33:2181advertised.listeners=PLAINTEXT://10.22.82.33:9092 log.dirs=/usr/local/kafka_2.12-3.9.0/data/kafka-logs

三、启动kafka服务并验证 

#启动kafka服务 kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties #集群停止kafka-server-stop.sh

验证：创建topic  、查看topic、生产数据、消费数据进行测试

1.创建 topic cd /usr/local/kafka_2.12-3.9.0 ./bin/kafka-topics.sh --bootstrap-server broker_host:port --create --topic my_topic_name \\--partitions 20 --replication-factor 3 注 ：此命令是在kafka部署目录中操作kafka-topics.sh --bootstrap-server 10.22.82.33:9092 --create --topic my_topic_namekafka-topics.sh --bootstrap-server 10.22.82.33:9092 --delete --topic my_topic_name --列出主题kafka-topics.sh --list --bootstrap-server 172.18.12.40:9092my_topic_name 参数 详解 ： --bootstrap-server ： kafka集群地址--create ：执行创创建操作--topic :topic名称--partitions ：topic 的分区数--replication-factor topic 的副本--config： 可选，创建 topic指定topic参数 配置 创建生产者生产数据[root@kafka1 bin]# kafka-console-producer.sh --broker-list 10.22.82.33:9092,10.22.82.33:9092,10.22.82.33:9092 --topic my_topic_name>这是一个测试 测试消费者是否可以消费数据[root@kafka2 config]# kafka-console-consumer.sh --bootstrap-server 10.22.82.33:9092 --topic my_topic_name --from-beginning这是一个测试