网站导航
> 技术文档 > Kafka4.0集群部署_kafka4.0部署

Kafka4.0集群部署_kafka4.0部署

网友: 技术文档 2025-07-30 13:29:32

PS：单机部署，采用了docker部署和直接部署两种方式，请跳转这里
本篇为集群部署，全部采用docker方式

1. 集群节点

集群部署3台服务器，每个节点都同事作为controller和broker，如果服务器充足，可以将controller和broker分开

主机名 IP地址 角色 操作系统 kafka01 192.168.5.31 controller/broker Ubuntu-24 kafka02 192.168.5.32 controller/broker Ubuntu-24 kafka03 192.168.5.33 controller/broker Ubuntu-24

2. 配置服务器

2.1 配置主机名

sudo hostnamectl set-hostname kafka01# 查看是否设置成功hostname

2.2 配置IP地址

# 查看当前的网卡名称ip a# 先进入/etc/netplancd /etc/netplan# 查看文件夹下面的yaml的名称ll# 打开下面的yaml文件(文件名称以上面看到的为准)sudo vim 具体文件名称.yaml#根据下面的内容进行配置# 配置生效sudo netplan apply# 验证网卡IP是否设置正确ip route show default # 如果没有任何返回，则说明网卡IP不正确，需要找到正确的网卡IP进行修改# 验证是否修改成功ip a

yaml具体配置如下:

network: version: 2 renderer: networkd ethernets: ens33: # 替换为你的网卡名称 dhcp4: no addresses: [192.168.5.31/24] # IP和子网掩码 routes: - to: default # 等效于 0.0.0.0/0 via: 192.168.1.1 # 网关地址 nameservers: addresses: [8.8.8.8, 8.8.4.4] # DNS服务器

注意：网关地址和DNS服务器要配置正确

2.3 配置hosts解析

sudo vim /etc/hosts# 输入下面内容192.168.5.31 kafka01192.168.5.32 kafka02192.168.5.33 kafka03

2.4 其他服务器重复上面的操作

如果是虚拟机，那么可以设置一台之后，克隆即可，克隆后，需要修改主机名和ip地址（注：也可以等下面JDK安装往之后再克隆）

3. 安装JDK17

sudo apt-get install openjdk-17-jdk#验证是否成功java -version# 返回版本号，就是成功，openjdk version \"17.0.15\" 2025-04-15

3.1 添加JAVA_HOME环境变量

#查看jdk安装目录sudo update-alternatives --config java#编辑环境sudo vim /etc/environment#添加JAVA_HOMEJAVA_HOME=\"/usr/lib/jvm/java-17-openjdk-amd64\"#生效配置source /etc/environment#检查 JAVA_HOMEecho $JAVA_HOME # 应返回配置的路径

4. Docker安装

后面我们使用docker来安装kafka
具体安装步骤，请看Ubuntu-24安装Docker

5. 安装Kafka

官方文档：https://kafka.apache.org/documentation/#gettingStarted

5.1 创建目录

sudo mkdir -p /db/kafka # 为了放置kafka的一些文件

5.2 添加docker-compose.yml

cd /db/kafka#新建目录，放kafka数据挂载并递归修改目录所有者（Kafka容器默认使用用户 UID 1001）sudo mkdir kafka_data && sudo chown -R 1001:1001 ./kafka_data# 生成集群Id（记住结果，后面docker-compose.yml用到），此命令只在集群第一个节点生成一次echo $(docker run --rm bitnami/kafka:4.0.0 kafka-storage.sh random-uuid)# 添加yml并将下面内容拷贝进去sudo vim docker-compose.yml

内容如下：

services: kafka: image: bitnami/kafka:4.0.0 # 官方镜像 container_name: kafka ports: - \"9092:9092\" # 客户端通信端口 - \"9093:9093\" # 控制器端口（KRaft 模式必需） environment: - KAFKA_CLUSTER_ID=xXiglO5pQmWIfkSOWwb7Fg # 上面执行的结果 - KAFKA_CFG_NODE_ID=1 # 节点 ID - KAFKA_CFG_PROCESS_ROLES=broker,controller # 节点角色 - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@kafka01:9093,2@kafka02:9093,3@kafka03:9093 # 控制器投票列表，静态仲裁（目前镜像还会检测这个配置，所以还需要有，但是正式选举已经不使用） - KAFKA_CFG_CONTROLLER_QUORUM_BOOTSTRAP_SERVERS=kafka01:9093,kafka02:9093,kafka03:9093 # 控制器投票列表，动态仲裁（kafka4.0默认采用动态仲裁，这个才是正在选举的配置项） - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093 - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka01:9092,CONTROLLER://kafka01:9093 # 按需替换 IP - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL - KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE=false # 不允许自动创建 Topic - ALLOW_PLAINTEXT_LISTENER=yes  # 允许明文传输 volumes: - ./kafka_data:/bitnami/kafka # 持久化数据卷（避免绑定挂载冲突）

5.2.1 environment 环境变量

注意：environment是进行环境配置，会动态覆盖server.properties中的参数，并不会修改容器内kafka的server.properties的文件，

  • 容器内安装目录
    • /opt//bitnami/kafka/
    • /opt//bitnami/kafka/config​​
      镜像默认配置
  • 动态数据目录
    • /bitnami/kafka
    • /bitnami/kafka/config​​
      用户自定义配置的入口，​​挂载后覆盖默认配置

如果要修改server.properties，可以在 ​​/bitnami/kafka/config​​下创建server.properties
加载优先级是：environment > 挂载的文件配置 > 镜像默认配置

5.2.2 server.properties

如果想查看kafka的配置，则执行

docker exec -it kafka cat /opt/bitnami/kafka/config/server.properties

server.properties 具体信息如下
请跳转这里查看

5.2.3 静态仲裁VS动态仲裁

执行以下命令

docker exec -it kafka /opt/bitnami/kafka/bin/kafka-features.sh --bootstrap-controller localhost:9093 describe
  • 若 kraft.version FinalizedVersionLevel: 0，则为静态仲裁。
  • 若 kraft.version FinalizedVersionLevel: 1，则为动态仲裁。

想要删除数据和容器，重新部署的话，可以执行以下命令

cd /db/kafkadocker compose down --volumes # 注意：--volumes 会删除数据，如有需要，需提前备份！# 删除挂载的宿主机kafka_data文件夹sudo rm -rf kafka_data/

后面重复5.2的命令即可

5.3 其他服务器配置

  • kafka02 
    - KAFKA_CFG_NODE_ID=2- KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka02:9092,CONTROLLER://kafka02:9093
  • kafka03 
    - KAFKA_CFG_NODE_ID=3- KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka03:9092,CONTROLLER://kafka03:9093

5.4 启动容器

分别执行以下命令，启动3台服务

sudo docker compose up -d # 后台运行

5.5 验证服务状态

sudo docker compose ps # 检查容器状态docker compose logs -f kafka # 查看日志（无报错即启动成功）# 查看集群IDdocker exec -it kafka /opt/bitnami/kafka/bin/kafka-cluster.sh cluster-id --bootstrap-server kafka01:9092

5.6 外部连接kafka失败

# 验证9092端口有没有开启sudo netstat -tulnp | grep 9092# 如果发现端口已经开启了，且容器运行正常，则可能是防火墙没有运行9092端口# 检查防火墙状态，如果是active则表示打开的，看一下下面有没有9092端口sudo ufw status# 如果没有9092端口，则需要开通9092端口sudo ufw allow 9092/tcp

5.7 查看当前 Controllers 状态

docker exec -it kafka /opt/bitnami/kafka/bin/kafka-metadata-quorum.sh --bootstrap-server kafka01:9092 describe --status

返回内容

ClusterId:  xXiglO5pQmWIfkSOWwb7FgLeaderId:  2LeaderEpoch: 6HighWatermark: 349734MaxFollowerLag: 0MaxFollowerLagTimeMs: 4CurrentVoters: [{\"id\": 1, \"directoryId\": null, \"endpoints\": [\"CONTROLLER://kafka01:9093\"]}, {\"id\": 2, \"directoryId\": null, \"endpoints\": [\"CONTROLLER://kafka02:9093\"]}, {\"id\": 3, \"directoryId\": null, \"endpoints\": [\"CONTROLLER://kafka03:9093\"]}]CurrentObservers: []
  • LeaderId：当前的 Active Controller。
  • CurrentVoters：目前参与 Raft 投票的 Controller 节点 ID 列表（即所有 Controller 成员）
  • CurrentObservers：普通 Broker（不参与投票）的节点 ID 列表

6 安装Kafbat UI

具体安装步骤请看这里

7 Docker容器开机自启动服务

配置方式请看这里

使用上面两种方法中一种，给kafka和kafbat-ui两个容器设置自启动

网络标签：

相关问题