Kafka + Kafka-UI

文章目录

• 前言
• • 🐳 一、使用纯 Kafka + Kafka-UI （无 Zookeeper）Docker 配置
  • 🚀 启动步骤
  • ✅ 服务启动后地址
  • 🔥 注意事项（使用 Kraft）
  • ✅ NestJS Kafka 连接不变
  • 🧠 额外补充
  • 📦 kafka/README.md 内容：
• Kafka Kraft 模式部署指南
• • 🐳 使用 Docker-Compose 快速启动
  • 🌐 服务地址
  • 🛠️ 常用运维指令
  • • 查看所有容器状态
    • 查看 Kafka UI 日志
    • 查看 Kafka Broker 日志
    • 创建 Topic（进入 Kafka 容器内部执行）
    • 查看 Topic 列表
    • 查看 Topic 消息
  • ⚡ NestJS 配置 Kafka
  • 🚨 注意事项

---

前言

✅ 使用 不需要 Zookeeper 的 Kafka —— 那就是 Kafka KRaft 模式（KRaft = Kafka Raft Metadata Mode），从 Kafka 2.8+ 起官方支持，3.3+ 开始默认推荐。

这样可以：

• 去掉 zookeeper 依赖
• 简化部署，性能更高
• 更符合现在 Kafka 的新一代标准架构

---

🐳 一、使用纯 Kafka + Kafka-UI （无 Zookeeper）Docker 配置

这里直接给你新版 docker-compose.yml（最新流行写法）👇：

version: \'3.8\'services: kafka: image: bitnami/kafka:3.6 container_name: kafka ports: - \'9092:9092\' environment: - KAFKA_CFG_NODE_ID=0 - KAFKA_CFG_PROCESS_ROLES=broker,controller - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=0@kafka:9093 - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093 - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka:9092 - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER - KAFKA_CFG_LOG_DIRS=/bitnami/kafka/data - KAFKA_KRAFT_CLUSTER_ID=替换成base64的uuid - ALLOW_PLAINTEXT_LISTENER=yes volumes: - kafka_data:/bitnami/kafka kafka-ui: image: provectuslabs/kafka-ui:latest container_name: kafka-ui ports: - \'8080:8080\' environment: - KAFKA_CLUSTERS_0_NAME=kraft-kafka - KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=kafka:9092 - DYNAMIC_CONFIG_ENABLED=truevolumes: kafka_data:

---

🚀 启动步骤

docker-compose up -d

---

✅ 服务启动后地址

服务 地址 说明 Kafka Broker localhost:9092 NestJS 直接连 Kafka UI http://localhost:8080 查看 Topic、消息

---

🔥 注意事项（使用 Kraft）

说明 备注 控制器 Kafka 自己用 Raft 协议管理元数据，不再需要 ZooKeeper 单节点开发环境 OK，生产建议部署多节点控制器 镜像推荐 使用 bitnami/kafka，官方纯净版 Kraft 支持最好

---

✅ NestJS Kafka 连接不变

new Kafka({ clientId: \'seckill-service\', brokers: [\'localhost:9092\'],});

---

🧠 额外补充

特性 Zookeeper版 Kafka Kraft版 Kafka 简单性 ❌ 复杂 ✅ 简洁 启动速度 慢 快 部署节点数量 多 少 生产是否推荐使用 需要搭建多个 Broker 需要搭建多个 Controller Broker

---

✅ kafka/README.md 运维指令集和最佳实践

---

📦 kafka/README.md 内容：

Kafka Kraft 模式部署指南

🐳 使用 Docker-Compose 快速启动

cd kafkadocker-compose up -d

✅ 启动以下容器：

• kafka （KRaft模式，无需Zookeeper）
• kafka-ui（管理界面）

---

🌐 服务地址

服务 地址 说明 Kafka Broker localhost:9092 供 NestJS 项目连接使用 Kafka UI http://localhost:8080 可视化查看 Topic / 消费者组等信息

---

🛠️ 常用运维指令

查看所有容器状态

docker ps

查看 Kafka UI 日志

docker-compose logs kafka-ui

查看 Kafka Broker 日志

docker-compose logs kafka

创建 Topic（进入 Kafka 容器内部执行）

docker exec -it kafka bash# 创建 topickafka-topics.sh --bootstrap-server localhost:9092 --create --topic seckill-orders --partitions 3 --replication-factor 1

查看 Topic 列表

kafka-topics.sh --bootstrap-server localhost:9092 --list

查看 Topic 消息

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic seckill-orders --from-beginning

---

⚡ NestJS 配置 Kafka

NestJS 项目中连接 Kafka：

new Kafka({ clientId: \'seckill-service\', brokers: [\'localhost:9092\'],});

---

🚨 注意事项

• 这是开发测试环境配置（单节点 Kraft）
• 生产环境应至少部署 3 个 Broker 节点，启用多控制器选举
• 确认端口号未被占用（默认 9092 / 8080）

---