一、环境准备与前置条件

1.1 系统环境要求

Ubuntu系统建议选择LTS版本（如22.04或20.04），其稳定性经过长期验证。需确保系统已更新至最新状态：

sudo apt update && sudo apt upgrade -y

系统资源方面，Kafka对内存和磁盘I/O敏感。单机环境建议配置4GB以上内存，推荐使用SSD存储。通过free -h和df -h命令可查看当前资源状态。

1.2 Java环境安装

Kafka依赖Java运行环境，推荐安装OpenJDK 11或17版本。安装命令如下：

sudo apt install openjdk-11-jdk -y

验证安装结果：

java -version
# 应输出类似：openjdk version "11.0.20" 2023-07-18

配置JAVA_HOME环境变量（可选但推荐）：

echo 'export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64' >> ~/.bashrc
source ~/.bashrc

1.3 Zookeeper集成选择

Kafka 2.8.0起支持KRaft协议（无需Zookeeper），但生产环境建议仍使用Zookeeper。本指南采用传统Zookeeper模式部署。

二、Kafka核心组件安装

2.1 下载与解压

从Apache官网获取最新稳定版（如3.6.1）：

wget https://dlcdn.apache.org/kafka/3.6.1/kafka_2.13-3.6.1.tgz
tar -xzf kafka_*.tgz
mv kafka_2.13-3.6.1 /opt/kafka

2.2 配置文件优化

编辑/opt/kafka/config/server.properties，关键参数调整：

# 监听地址（0.0.0.0允许远程访问）
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://<服务器IP>:9092
# 日志存储配置
log.dirs=/var/lib/kafka/logs
num.partitions=3
# 内存优化（根据服务器内存调整）
num.io.threads=8
num.network.threads=3
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600

2.3 创建系统服务（可选）

创建/etc/systemd/system/kafka.service：

[Unit]
Description=Apache Kafka Server
After=network.target
[Service]
Type=simple
User=root
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=on-failure
[Install]
WantedBy=multi-user.target

启用服务：

sudo systemctl daemon-reload
sudo systemctl enable kafka
sudo systemctl start kafka

三、验证部署与基础操作

3.1 基础命令测试

创建测试主题：

/opt/kafka/bin/kafka-topics.sh --create \
  --topic test-topic \
  --bootstrap-server localhost:9092 \
  --partitions 1 \
  --replication-factor 1

生产者测试：

/opt/kafka/bin/kafka-console-producer.sh \
  --topic test-topic \
  --bootstrap-server localhost:9092
# 输入测试消息

消费者测试：

/opt/kafka/bin/kafka-console-consumer.sh \
  --topic test-topic \
  --from-beginning \
  --bootstrap-server localhost:9092

3.2 性能调优建议

JVM调优：编辑/opt/kafka/bin/kafka-run-class.sh，调整KAFKA_HEAP_OPTS：
```
export KAFKA_HEAP_OPTS="-Xms1G -Xmx1G"
```

日志保留策略：

log.retention.hours=168
log.segment.bytes=1073741824

网络优化：对于高并发场景，调整socket.request.max.bytes和num.network.threads

四、常见问题解决方案

4.1 端口冲突处理

若9092端口被占用，使用netstat -tulnp | grep 9092定位进程，修改server.properties中的listeners和advertised.listeners为其他端口（如9093）。

4.2 日志目录权限问题

确保Kafka进程用户有写入权限：

sudo chown -R root:root /var/lib/kafka/
sudo chmod -R 755 /var/lib/kafka/

4.3 内存不足错误

若出现java.lang.OutOfMemoryError，需：

增大JVM堆内存（如-Xmx2G）
检查num.io.threads是否超过CPU核心数
优化log.segment.bytes减少磁盘I/O压力

五、运维管理最佳实践

5.1 监控指标收集

通过JMX暴露指标，配置Prometheus+Grafana监控：

# 在server.properties中添加
export KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote \
  -Dcom.sun.management.jmxremote.port=9999 \
  -Dcom.sun.management.jmxremote.authenticate=false \
  -Dcom.sun.management.jmxremote.ssl=false"

5.2 定期维护任务

日志滚动：设置log.retention.check.interval.ms=300000（5分钟检查一次）
主题清理：使用kafka-topics.sh --delete删除无用主题
备份策略：定期备份/var/lib/kafka/目录

5.3 安全加固建议

启用SSL加密：

listeners=SSL://:9093
ssl.keystore.location=/path/to/keystore.jks
ssl.keystore.password=yourpassword

配置ACL权限控制
限制客户端IP访问

六、升级与扩展指南

6.1 版本升级流程

下载新版本并解压至新目录
停止旧服务：systemctl stop kafka
备份配置文件和数据目录
启动新版本：systemctl start kafka
验证主题兼容性：kafka-topics.sh --describe --bootstrap-server localhost:9092

6.2 扩展为集群

若需扩展为集群，需：

修改broker.id为唯一值
配置zookeeper.connect指向Zookeeper集群
调整replication.factor为3（生产环境推荐）
使用kafka-reassign-partitions.sh重新分配分区

通过以上步骤，您可在Ubuntu系统上完成Kafka单机环境的完整部署。实际生产环境中，建议结合监控系统、备份策略和安全加固措施，构建高可用的消息中间件平台。

Ubuntu系统下单机Kafka部署全攻略