Kafka单机部署全攻略：从环境准备到生产就绪

一、为什么选择Kafka单机部署？

Kafka作为分布式流处理平台，通常以集群形式运行。但在开发测试、小型项目或边缘计算场景中，单机部署具有显著优势：

资源占用低：单节点运行可节省服务器成本
部署简单：无需处理Zookeeper集群协调问题
快速验证：适合功能测试和POC验证
边缘计算适用：在资源受限的物联网设备上运行

典型适用场景包括：本地开发环境、CI/CD流水线测试、小型数据管道处理、单机应用日志收集等。

二、环境准备与依赖检查

1. 系统要求

操作系统：Linux（推荐CentOS/RHEL 7+或Ubuntu 18.04+）
Java版本：JDK 11（官方推荐）或JDK 8
磁盘空间：至少10GB可用空间（生产环境建议更多）
内存要求：最小4GB（测试环境），生产环境建议8GB+

2. 依赖安装

# Ubuntu示例
sudo apt update
sudo apt install -y openjdk-11-jdk wget curl
# CentOS示例
sudo yum install -y java-11-openjdk-devel wget curl

验证Java安装：

java -version
# 应输出类似：openjdk version "11.0.15" 2022-04-19

三、Kafka核心组件安装

1. 下载与解压

从Apache官网获取最新稳定版（本文以3.6.0为例）：

wget https://archive.apache.org/dist/kafka/3.6.0/kafka_2.13-3.6.0.tgz
tar -xzf kafka_2.13-3.6.0.tgz
cd kafka_2.13-3.6.0

2. 配置文件详解

编辑config/server.properties关键参数：

# 基础配置
broker.id=0
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://localhost:9092
# 日志存储
log.dirs=/tmp/kafka-logs
num.partitions=3
# 内存优化
num.io.threads=8
num.network.threads=3
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
# 保留策略
log.retention.hours=168
log.segment.bytes=1073741824

3. 启动前验证

检查端口占用：

netstat -tulnp | grep 9092
# 应无输出（表示端口可用）

创建日志目录：

sudo mkdir -p /tmp/kafka-logs
sudo chown -R $(whoami):$(whoami) /tmp/kafka-logs

四、启动与基础验证

1. 启动服务

# 后台启动（推荐）
bin/kafka-server-start.sh -daemon config/server.properties
# 前台启动（调试用）
bin/kafka-server-start.sh config/server.properties

验证进程：

jps | grep Kafka
# 应输出类似：12345 Kafka

2. 基础功能测试

创建测试主题：

bin/kafka-topics.sh --create \
  --topic test-topic \
  --bootstrap-server localhost:9092 \
  --partitions 1 \
  --replication-factor 1

生产消息测试：

bin/kafka-console-producer.sh \
  --topic test-topic \
  --bootstrap-server localhost:9092
# 输入任意消息后按Ctrl+D退出

消费消息测试：

bin/kafka-console-consumer.sh \
  --topic test-topic \
  --from-beginning \
  --bootstrap-server localhost:9092

五、生产环境优化建议

1. 性能调优参数

# 内存配置（根据机器内存调整）
num.io.threads=4  # 通常设为CPU核心数
num.network.threads=3
# 日志优化
log.flush.interval.messages=10000
log.flush.interval.ms=1000
# 连接配置
num.ack=1  # 生产环境建议设为all

2. 监控集成

配置JMX监控：

# 在server.properties中添加
export KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote \
  -Dcom.sun.management.jmxremote.authenticate=false \
  -Dcom.sun.management.jmxremote.ssl=false \
  -Dcom.sun.management.jmxremote.port=9999"

使用JConsole或Prometheus+JMX Exporter进行监控。

3. 日志管理

配置log4j.properties（位于config目录）：

log4j.logger.kafka=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=[%d] %p %m (%c)%n

六、常见问题解决方案

1. 端口冲突

错误现象：Port 9092 is already in use
解决方案：

# 查找占用进程
lsof -i :9092
# 终止进程或修改Kafka端口

2. 日志写入失败

错误现象：No space left on device
解决方案：

# 清理旧日志
rm -rf /tmp/kafka-logs/*
# 或修改log.dirs到更大磁盘

3. 消费者滞后

监控命令：

bin/kafka-consumer-groups.sh \
  --bootstrap-server localhost:9092 \
  --describe \
  --group test-group

优化建议：

增加消费者实例
调整fetch.min.bytes和fetch.max.wait.ms
检查分区分配是否均衡

七、进阶部署场景

1. 嵌入式部署（与Spring Boot集成）

Maven依赖：

<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
    <version>3.1.0</version>
</dependency>

配置示例：

spring:
  kafka:
    bootstrap-servers: localhost:9092
    consumer:
      group-id: my-group
      auto-offset-reset: earliest

2. Docker化部署

docker-compose.yml示例：

version: '3'
services:
  kafka:
    image: confluentinc/cp-kafka:7.6.0
    ports:
      - "9092:9092"
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_LISTENERS: PLAINTEXT://:9092
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
    volumes:
      - kafka-data:/var/lib/kafka/data
volumes:
  kafka-data:

八、最佳实践总结

资源隔离：为Kafka分配专用磁盘，避免与其他服务争用IO
配置备份：修改配置前备份原始文件
渐进式调优：每次只修改1-2个参数并观察效果
定期维护：设置日志清理策略，避免磁盘填满
安全加固：生产环境应启用SSL/SASL认证

通过以上步骤，您可以在单机环境中快速部署一个功能完整的Kafka服务。对于开发测试环境，这种部署方式既经济又高效；对于小型生产场景，通过适当的调优和监控，也能满足基本业务需求。

Kafka单机部署全攻略：从环境配置到生产就绪