docker compose 安装 kafka_docker-compose安装kafka

Kafka 是一个分布式的流处理平台，通常用于构建实时数据管道和流应用。使用 Docker Compose 可以快速、轻松地搭建一个包含 Kafka 和 Zookeeper 的环境。本文将详细介绍如何使用 Docker Compose 安装 Kafka。

一、准备环境

1. 安装 Docker：确保已安装 Docker。可以通过以下命令检查 Docker 是否已安装：

   docker --version

2. 安装 Docker Compose：确保已安装 Docker Compose。可以通过以下命令检查 Docker Compose 是否已安装：

   docker-compose --version

二、编写 Docker Compose 文件

创建一个目录来存放 Docker Compose 文件，例如 kafka-docker：

mkdir kafka-dockercd kafka-docker

在该目录下创建一个名为 docker-compose.yml 的文件，并添加以下内容：

version: \'3\'services: zookeeper: image: wurstmeister/zookeeper:3.4.6 ports: - \"2181:2181\" kafka: image: wurstmeister/kafka:2.13-2.7.0 ports: - \"9092:9092\" environment: KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092 KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1 volumes: - /var/run/docker.sock:/var/run/docker.sock

三、启动 Kafka 和 Zookeeper

在 docker-compose.yml 文件所在的目录中，运行以下命令来启动 Kafka 和 Zookeeper：

docker-compose up -d

该命令会在后台启动 Kafka 和 Zookeeper。可以使用以下命令查看容器的运行状态：

docker-compose ps

四、验证安装

1. 安装 Kafka 客户端：

   可以通过以下命令进入 Kafka 容器：

   docker-compose exec kafka /bin/sh

2. 创建一个主题：

   进入 Kafka 容器后，使用以下命令创建一个名为 test-topic 的主题：

   kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1

3. 列出主题：

   使用以下命令查看所有主题：

   kafka-topics.sh --list --bootstrap-server localhost:9092

   如果成功创建了 test-topic，它将出现在输出列表中。

4. 生产者测试：

   使用以下命令启动一个生产者，并向 test-topic 发送消息：

   kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092

   然后输入一些消息并按回车键，每行输入的消息都会发送到 Kafka。

5. 消费者测试：

   使用以下命令启动一个消费者，并从 test-topic 接收消息：

   kafka-console-consumer.sh --topic test-topic --bootstrap-server localhost:9092 --from-beginning

   如果消费者能够收到生产者发送的消息，则说明 Kafka 安装和配置成功。

五、常见问题及解决方法

1. 端口冲突：确保 2181（Zookeeper）和 9092（Kafka）端口未被其他应用占用。
2. 容器启动失败：检查 Docker 和 Docker Compose 的版本，确保它们是最新版本。
3. Kafka 无法连接 Zookeeper：确保 KAFKA_ZOOKEEPER_CONNECT 环境变量正确配置。

六、总结

通过本文的步骤，您可以快速在本地使用 Docker Compose 安装并配置 Kafka 和 Zookeeper。Docker Compose 简化了多容器应用的管理，方便快速搭建和测试分布式系统。