一、引言

Kafka作为一款高性能的分布式流处理平台，广泛应用于日志收集、实时分析等场景。在开发测试阶段，单机部署Kafka能快速搭建环境，验证业务逻辑。本文将详细介绍在Ubuntu系统上如何部署单机版Kafka，涵盖环境准备、安装配置、启动验证及常见问题解决等关键步骤。

二、环境准备

1. 系统要求

Ubuntu 20.04 LTS或更高版本，推荐使用64位系统，确保内存充足（至少4GB）。

2. 安装Java环境

Kafka依赖Java运行环境，推荐安装OpenJDK 11或更高版本。

# 更新软件包索引
sudo apt update
# 安装OpenJDK 11
sudo apt install openjdk-11-jdk
# 验证安装
java -version

3. 安装Zookeeper（可选）

Kafka 3.x版本后支持内置Zookeeper，但单机部署时，仍可使用独立Zookeeper以简化管理。若选择独立安装：

# 下载Zookeeper
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz
# 解压
tar -xzf apache-zookeeper-3.7.0-bin.tar.gz -C /opt
# 创建数据目录
sudo mkdir -p /var/lib/zookeeper
# 配置Zookeeper（修改conf/zoo.cfg）
echo "
tickTime=2000
dataDir=/var/lib/zookeeper
clientPort=2181
" | sudo tee /opt/apache-zookeeper-3.7.0-bin/conf/zoo.cfg
# 启动Zookeeper
/opt/apache-zookeeper-3.7.0-bin/bin/zkServer.sh start

三、安装Kafka

1. 下载Kafka

# 下载Kafka（以3.6.0版本为例）
wget https://archive.apache.org/dist/kafka/3.6.0/kafka-3.6.0-src.tgz
# 解压
tar -xzf kafka-3.6.0-src.tgz -C /opt
# 重命名目录（可选）
sudo mv /opt/kafka-3.6.0-src /opt/kafka

2. 配置Kafka

编辑/opt/kafka/config/server.properties，修改以下关键参数：

# 监听地址（0.0.0.0允许外部访问）
listeners=PLAINTEXT://:9092
# 广告地址（若通过域名访问，需设置）
advertised.listeners=PLAINTEXT://your-server-ip:9092
# 日志目录
log.dirs=/tmp/kafka-logs
# Zookeeper连接（若使用独立Zookeeper）
zookeeper.connect=localhost:2181
# 单机模式可关闭副本同步（生产环境需开启）
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1

3. 启动Kafka

# 启动Kafka（后台运行）
nohup /opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties > /tmp/kafka.log 2>&1 &
# 验证进程
ps aux | grep kafka

四、验证部署

1. 创建Topic

/opt/kafka/bin/kafka-topics.sh --create \
  --topic test-topic \
  --bootstrap-server localhost:9092 \
  --partitions 1 \
  --replication-factor 1

2. 发送消息

/opt/kafka/bin/kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092
# 输入任意消息后按Ctrl+D退出

3. 消费消息

/opt/kafka/bin/kafka-console-consumer.sh --topic test-topic --from-beginning --bootstrap-server localhost:9092

五、常见问题解决

1. 端口冲突

若9092端口被占用，修改server.properties中的listeners为其他端口（如9093），并同步更新advertised.listeners。

2. 日志目录权限

确保Kafka用户对log.dirs有读写权限：

sudo chown -R $(whoami):$(whoami) /tmp/kafka-logs

3. 内存不足

若启动失败提示内存不足，编辑/opt/kafka/bin/kafka-server-start.sh，调整KAFKA_HEAP_OPTS：

export KAFKA_HEAP_OPTS="-Xms512m -Xmx1g"

4. 防火墙配置

若需远程访问，开放9092端口：

sudo ufw allow 9092/tcp
sudo ufw reload

六、优化建议

日志轮转：配置log4j.properties限制日志大小，避免磁盘占满。
监控集成：使用JMX导出指标，结合Prometheus+Grafana监控。
数据持久化：将log.dirs指向独立磁盘，提高I/O性能。
版本升级：定期检查Kafka官方安全更新，及时升级。

七、总结

本文详细介绍了在Ubuntu系统上部署单机版Kafka的全流程，从环境准备、安装配置到验证优化，覆盖了关键步骤和常见问题。通过本文，开发者可快速搭建Kafka环境，为后续开发测试提供基础支持。单机部署虽简单，但生产环境需考虑高可用、性能调优等复杂因素，建议根据实际需求选择合适的部署方案。

Ubuntu系统下单机Kafka部署全攻略