Kafka单机部署全攻略：从环境准备到生产实践

引言

Apache Kafka作为分布式流处理平台的标杆，以其高吞吐、低延迟、持久化存储的特性广泛应用于日志收集、实时分析、消息队列等场景。对于开发测试环境或资源受限的小型项目，单机部署Kafka是高效且经济的选择。本文将系统阐述Kafka单机部署的完整流程，从环境准备到生产优化，为开发者提供可落地的技术指南。

一、环境准备：基础条件与依赖配置

1.1 硬件与系统要求

Kafka单机部署对硬件资源的需求取决于业务场景：

内存：建议至少8GB，生产环境推荐16GB以上（Kafka依赖Page Cache提升性能）。
磁盘：SSD优先，容量根据消息保留策略（log.retention.hours）和数据量评估。例如，保留7天数据且日均写入10GB时，需预留70GB以上空间。
CPU：4核以上，支持多线程处理请求。
操作系统：Linux（推荐CentOS/Ubuntu）或MacOS，Windows需通过WSL2或Docker模拟。

1.2 Java环境安装

Kafka依赖Java运行时环境（JRE），需安装OpenJDK 8/11或Oracle JDK：

# Ubuntu示例：安装OpenJDK 11
sudo apt update
sudo apt install openjdk-11-jdk
java -version  # 验证安装

关键点：避免使用过高版本JDK（如JDK17），可能存在兼容性问题。

1.3 ZooKeeper集成（可选）

Kafka 2.8+支持KRaft模式（去ZooKeeper化），但单机测试场景仍推荐传统模式：

ZooKeeper角色：管理Broker元数据、消费者偏移量等。
单机部署：直接使用Kafka内置的ZooKeeper（默认端口2181），无需单独安装。

二、安装与配置：核心参数调优

2.1 下载与解压

从Apache官网下载稳定版Kafka（如3.6.0）：

wget https://downloads.apache.org/kafka/3.6.0/kafka-3.6.0-src.tgz
tar -xzf kafka-3.6.0-src.tgz
cd kafka-3.6.0

2.2 配置文件修改

编辑config/server.properties，重点参数如下：

# 基础配置
broker.id=0  # 单机场景唯一ID
listeners=PLAINTEXT://:9092  # 监听地址
advertised.listeners=PLAINTEXT://localhost:9092  # 客户端连接地址
log.dirs=/tmp/kafka-logs  # 数据存储路径
# 性能调优
num.network.threads=3  # 网络线程数（建议CPU核数*0.7）
num.io.threads=8  # IO线程数（建议CPU核数*1.5）
socket.send.buffer.bytes=102400  # 发送缓冲区
socket.receive.buffer.bytes=102400  # 接收缓冲区
socket.request.max.bytes=104857600  # 最大请求大小（100MB）
# 持久化配置
log.retention.hours=168  # 消息保留7天
log.segment.bytes=1073741824  # 分段大小（1GB）

生产建议：

调整log.dirs到高速磁盘路径（如/data/kafka）。
根据消息量调整log.segment.bytes，避免频繁分段。

2.3 启动服务

依次启动ZooKeeper和Kafka Broker：

# 启动ZooKeeper（仅传统模式需要）
bin/zookeeper-server-start.sh config/zookeeper.properties &
# 启动Kafka
bin/kafka-server-start.sh config/server.properties &

验证：

jps | grep Kafka  # 应看到Kafka进程
netstat -tulnp | grep 9092  # 检查端口监听

三、基础操作：主题管理与消息测试

3.1 创建主题

bin/kafka-topics.sh --create \
  --bootstrap-server localhost:9092 \
  --replication-factor 1 \  # 单机只能为1
  --partitions 3 \  # 分区数（建议根据消费者组数量调整）
  --topic test-topic

3.2 生产与消费测试

生产消息：

bin/kafka-console-producer.sh \
  --bootstrap-server localhost:9092 \
  --topic test-topic

消费消息：

bin/kafka-console-consumer.sh \
  --bootstrap-server localhost:9092 \
  --topic test-topic \
  --from-beginning  # 从头读取

四、生产环境优化建议

4.1 监控与告警

指标收集：通过JMX暴露指标（端口9999），集成Prometheus+Grafana。
关键指标：
- UnderReplicatedPartitions（分区复制状态）
- RequestLatencyAvg（请求延迟）
- DiskUsage（磁盘使用率）

4.2 备份与恢复

数据备份：定期备份log.dirs下的数据文件。
配置备份：保存server.properties和主题配置。

4.3 安全加固

启用SSL/SASL：修改listeners和advertised.listeners为SSL://或SASL_SSL://。
ACL管理：通过kafka-acls.sh限制主题访问权限。

五、常见问题与解决方案

5.1 端口冲突

现象：启动失败，日志报Address already in use。
解决：修改server.properties中的port或终止占用进程。

5.2 磁盘空间不足

现象：Broker崩溃，日志提示No space left on device。
解决：

清理旧数据：调整log.retention.hours或手动删除.log文件。
扩容磁盘或修改log.dirs到更大分区。

5.3 消费者滞后

现象：ConsumerLag指标持续上升。
解决：

增加消费者实例数量。
优化消费者代码（如批量处理、减少反序列化开销）。

结论

Kafka单机部署通过简化架构降低了资源门槛，但需注意其局限性（如无高可用保障）。对于开发测试、边缘计算或轻量级应用，单机部署是高效的选择。实际生产中，建议结合监控工具和自动化脚本（如Ansible）实现规模化管理。通过合理配置参数和定期维护，Kafka单机环境亦可稳定支撑每日百万级消息处理。

Kafka单机部署全攻略：从环境配置到生产实践