一、为什么选择单机版Kafka Docker部署？

在开发测试、本地调试或小型项目中，单机版Kafka因其轻量级、易维护的特性成为首选方案。通过Docker容器化部署，可避免直接安装依赖的复杂性，同时实现环境隔离和快速启停。相较于集群部署，单机版Kafka省去了Zookeeper集群协调、多节点同步等复杂配置，适合以下场景：

本地开发环境模拟消息队列
轻量级日志收集系统
微服务架构的本地联调
教学演示或技术验证

二、部署前环境准备

1. 系统要求

操作系统：Linux（推荐Ubuntu 20.04+/CentOS 7+）或macOS（Docker Desktop）
硬件：至少2核CPU、4GB内存（生产环境需更高配置）
依赖：已安装Docker（建议版本≥20.10）和Docker Compose（可选）

2. Docker基础检查

执行以下命令验证Docker安装：

docker --version
# 预期输出：Docker version 20.10.x, build xxxxx

若未安装，可通过官方脚本快速安装（以Ubuntu为例）：

curl -fsSL https://get.docker.com | sh
sudo usermod -aG docker $USER  # 添加当前用户到docker组
newgrp docker  # 刷新组权限

三、单机版Kafka Docker部署步骤

1. 使用官方镜像快速启动

Kafka官方提供了bitnami/kafka镜像，集成了Kafka和Zookeeper（嵌入式模式），适合单机场景。

基础启动命令

docker run -d --name kafka \
  -p 9092:9092 \
  -e ALLOW_PLAINTEXT_LISTENER=yes \
  -e KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 \
  bitnami/kafka:latest

参数解析：

-d：后台运行
-p 9092:9092：映射Kafka默认端口
ALLOW_PLAINTEXT_LISTENER=yes：允许明文连接（仅测试环境）
ADVERTISED_LISTENERS：声明客户端连接的地址

验证部署

进入容器执行命令检查状态：

docker exec -it kafka bash
kafka-topics.sh --bootstrap-server localhost:9092 --list
# 若无报错且返回空列表，则部署成功

2. 使用Docker Compose定制化部署（推荐）

创建docker-compose.yml文件，实现更灵活的配置：

version: '3'
services:
  kafka:
    image: bitnami/kafka:latest
    container_name: kafka
    ports:
      - "9092:9092"
    environment:
      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092
      - ALLOW_PLAINTEXT_LISTENER=yes
      - KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE=true
    volumes:
      - ./kafka_data:/bitnami/kafka

关键配置说明：

AUTO_CREATE_TOPICS_ENABLE=true：自动创建Topic（开发环境便利）
volumes：持久化数据到本地，避免容器删除后数据丢失

启动服务：

docker-compose up -d

四、配置优化与常见问题解决

1. 配置文件深度定制

若需修改server.properties（如日志保留策略），可通过以下方式：

创建自定义配置文件custom-server.properties

在Docker Compose中挂载：

volumes:
- ./custom-server.properties:/opt/bitnami/kafka/config/server.properties

推荐配置项：

# 减少日志保留时间（测试环境）
log.retention.hours=24
# 降低内存占用
num.network.threads=3
num.io.threads=8

2. 常见问题排查

问题1：客户端无法连接

现象：Connection to node -1 could not be established
原因：ADVERTISED_LISTENERS配置错误
解决：

确保地址可被客户端访问（如使用宿主机IP而非localhost）
示例修正：
```yaml
KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.100:9092
```

问题2：数据持久化失效

现象：容器重启后Topic丢失
原因：未正确挂载卷或卷权限不足
解决：

检查卷路径是否存在：ls -ld ./kafka_data

修正Docker Compose权限：

volumes:
- ./kafka_data:/bitnami/kafka:rw

五、生产环境注意事项（扩展）

尽管单机版Kafka适用于开发，但若需用于准生产环境，需考虑：

数据备份：定期备份kafka_data目录
监控集成：通过Prometheus+Grafana监控关键指标（如UnderReplicatedPartitions）
安全加固：
- 禁用ALLOW_PLAINTEXT_LISTENER
- 配置SASL_SSL认证
- 限制客户端IP访问

六、总结与最佳实践

开发环境优先使用Docker Compose：便于版本控制和快速重建
资源限制：通过--memory和--cpus参数限制容器资源（如docker run --memory="2g"）
版本管理：固定镜像标签（如bitnami/kafka:3.4.0）避免意外升级
日志管理：配置log4j.logger.kafka=WARN减少日志噪音

通过本文的步骤，读者可在10分钟内完成单机版Kafka的Docker部署，并掌握基础运维技能。对于更复杂的场景（如多Broker模拟集群），可进一步探索Kafka的broker.id配置和Docker网络模式。

单机Kafka Docker部署全攻略：零基础搭建单机版Kafka环境