【Kafka基础】单机安装与配置指南，从零搭建环境_kafka配置

学习Kafka，掌握Kafka的单机部署是理解其分布式特性的第一步。本文将手把手带你完成Kafka单机环境的安装、配置及基础验证，涵盖常见问题排查技巧。

1 环境准备

1.1 系统要求

• 操作系统：CentOS 7.9
• 依赖组件：JDK 8+（Kafka 2.8+需要JDK11+）、ZooKeeper（Kafka 2.8+内置ZooKeeper，可跳过独立安装）
• 资源建议：至少2核CPU，4GB内存，磁盘空间 ≥ 10GB（日志保留默认7天）

# 检查Java版本（示例为CentOS）[root@node6 kafka]# java -versionjava version \"11.0.25\" 2024-10-15 LTSJava(TM) SE Runtime Environment 18.9 (build 11.0.25+9-LTS-256)Java HotSpot(TM) 64-Bit Server VM 18.9 (build 11.0.25+9-LTS-256, mixed mode)[root@node6 kafka]# 

2 安装Kafka

2.1 下载与解压

下载地址： Index of /dist/kafka/3.6.0

tar -zxvf kafka_2.13-3.6.0.tgz -C /export/home/kafka/

2.2 目录结构说明

 [root@node6 kafka_2.13-3.6.0]# tree -L 1 .├── bin/ # 【核心】Kafka 管理脚本（启动/停止/运维）├── config/ # 【核心】配置文件（服务端、客户端、ZooKeeper）├── libs/  # 【核心】Kafka 运行依赖的 Java 库（JAR 文件）├── logs/  # 【运行时生成】日志文件（服务启动后自动生成）├── licenses/ # 第三方依赖的许可证文件├── site-docs/ # HTML 格式的官方文档（本地版）├── LICENSE # Apache 2.0 许可证文件└── NOTICE # 项目版权声明文件6 directories, 2 files[root@node6 kafka_2.13-3.6.0]# 

3 配置Kafka

3.1 单机模式配置

# 编辑config/server.properties核心参数：备份文件并添加如下内容cp config/server.properties config/server.properties_bakcat >config/server.properties<<EOF# Broker唯一ID（单机保持默认即可）broker.id=0# 监听地址（重要！改成实际IP或0.0.0.0）listeners=PLAINTEXT://192.168.10.35:9092# 日志存储目录（确保有写入权限）log.dirs=/export/home/kafka/kafka_2.13-3.6.0/logs# ZooKeeper连接地址（单机默认）zookeeper.connect=localhost:2181# 每个Topic的默认分区数（根据需求调整）num.partitions=1# 日志保留时间（小时）log.retention.hours=168# 单个日志段最大大小（默认1GB）log.segment.bytes=1073741824# 网络线程数（建议CPU核数）num.network.threads=2# IO线程数（建议2*CPU核数）num.io.threads=4EOF

3.2 启动内置ZooKeeper

# 启动内置ZooKeeper（前台运行，观察日志）/export/home/kafka/kafka_2.13-3.6.0/bin/zookeeper-server-start.sh /export/home/kafka/kafka_2.13-3.6.0/config/zookeeper.properties# 新终端窗口启动Kafka/export/home/kafka/kafka_2.13-3.6.0/bin/kafka-server-start.sh /export/home/kafka/kafka_2.13-3.6.0/config/server.properties

4 验证服务

4.1 创建Topic

# 创建名为test的Topic，1分区1副本/export/home/kafka/kafka_2.13-3.6.0/bin/kafka-topics.sh --create \\ --bootstrap-server 192.168.10.35:9092 \\ --replication-factor 1 \\ --partitions 1 \\ --topic test Last login: Thu Apr 3 21:54:04 2025 from 192.168.10.2[root@node6 ~]# /export/home/kafka/kafka_2.13-3.6.0/bin/kafka-topics.sh --create \\> --bootstrap-server 192.168.10.35:9092 \\> --replication-factor 1 \\> --partitions 1 \\> --topic testCreated topic test.[root@node6 ~]# # 查看Topic详情/export/home/kafka/kafka_2.13-3.6.0/bin/kafka-topics.sh --describe --topic test --bootstrap-server 192.168.10.35:9092[root@node6 ~]# /export/home/kafka/kafka_2.13-3.6.0/bin/kafka-topics.sh --describe --topic test --bootstrap-server 192.168.10.35:9092Topic: test TopicId: ripsPks_T2Od3POsa7e5LQ PartitionCount: 1 ReplicationFactor: 1 Configs: segment.bytes=1073741824 Topic: test Partition: 0 Leader: 0 Replicas: 0 Isr: 0[root@node6 ~]# 

4.2 生产与消费消息

# 启动生产者（输入消息后按Ctrl+C退出）/export/home/kafka/kafka_2.13-3.6.0/bin/kafka-console-producer.sh \\ --bootstrap-server 192.168.10.35:9092 \\ --topic test# 新终端启动消费者（从头开始消费）/export/home/kafka/kafka_2.13-3.6.0/bin/kafka-console-consumer.sh \\ --bootstrap-server 192.168.10.35:9092 \\ --topic test \\ --from-beginning

5 常见问题排查

5.1. 端口冲突

• 错误现象：Address already in use
• 解决方案

# 检查端口占用 netstat -tulnp | grep 9092 # 终止冲突进程或修改Kafka监听端口

5.2 磁盘空间不足

• 日志清理

# 手动删除旧日志（谨慎操作！）rm -rf /export/home/kafka/kafka_2.13-3.6.0/logs/test-0/*# 或配置自动清理（server.properties）log.retention.hours=168 # 保留7天

5.3 ZooKeeper连接失败

• 检查ZK状态

netstat -tulnp | grep 2181