一、引言：为什么选择Ubuntu部署单机Kafka？

Kafka作为分布式流处理平台的核心组件，广泛应用于日志收集、实时分析等场景。单机部署模式适合开发测试、小型项目或资源受限环境，而Ubuntu因其稳定的系统生态和丰富的软件包管理工具，成为开发者部署Kafka的首选平台之一。

相较于集群部署，单机Kafka具有以下优势：

低资源占用：无需协调多节点，适合个人开发者或小规模团队。
快速验证：可快速搭建环境验证功能，缩短开发周期。
学习成本低：配置简单，便于理解Kafka核心机制。

本文将详细介绍在Ubuntu 22.04 LTS系统上部署单机Kafka的全流程，包括环境准备、安装步骤、配置优化及基础操作，帮助读者快速上手。

二、环境准备：系统与依赖检查

1. 系统要求

操作系统：Ubuntu 22.04 LTS（推荐）或更高版本。
硬件配置：
- 内存：至少4GB（生产环境建议8GB+）。
- 磁盘：SSD优先，预留至少20GB空间。
- CPU：双核及以上。

2. 安装Java环境

Kafka依赖Java运行时环境（JRE），推荐使用OpenJDK 11或更高版本：

# 更新软件包索引
sudo apt update
# 安装OpenJDK 11
sudo apt install openjdk-11-jdk -y
# 验证安装
java -version
# 输出示例：openjdk version "11.0.20" 2023-07-18

3. 创建专用用户（可选但推荐）

为增强安全性，建议为Kafka创建专用用户：

sudo useradd -m -s /bin/bash kafka
sudo passwd kafka  # 设置密码（如需）

三、Kafka安装与配置

1. 下载Kafka二进制包

从Apache官方下载最新稳定版（以3.6.0为例）：

wget https://archive.apache.org/dist/kafka/3.6.0/kafka-3.6.0-src.tgz
# 或使用国内镜像加速
# wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/3.6.0/kafka-3.6.0-src.tgz
# 解压到指定目录
tar -xzf kafka-3.6.0-src.tgz -C /opt/
sudo mv /opt/kafka-3.6.0-src /opt/kafka

2. 配置单机模式

编辑/opt/kafka/config/server.properties，修改以下关键参数：

# 监听地址（0.0.0.0允许远程访问，localhost仅本地）
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://localhost:9092
# 日志存储路径
log.dirs=/tmp/kafka-logs
# ZooKeeper连接（单机模式使用内置ZooKeeper）
zookeeper.connect=localhost:2181
# 其他优化参数
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.retention.hours=168

3. 启动ZooKeeper（Kafka内置）

Kafka依赖ZooKeeper进行元数据管理，单机模式下可启动内置服务：

cd /opt/kafka
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4. 启动Kafka服务

bin/kafka-server-start.sh -daemon config/server.properties

验证服务状态：

ps aux | grep kafka
# 应看到kafka和quorum.main进程

四、基础操作与验证

1. 创建测试Topic

bin/kafka-topics.sh --create \
  --topic test-topic \
  --bootstrap-server localhost:9092 \
  --partitions 1 \
  --replication-factor 1

2. 发送测试消息

bin/kafka-console-producer.sh \
  --topic test-topic \
  --bootstrap-server localhost:9092
# 输入任意消息后按Ctrl+D结束

3. 消费测试消息

bin/kafka-console-consumer.sh \
  --topic test-topic \
  --from-beginning \
  --bootstrap-server localhost:9092

4. 常用管理命令

命令	用途
`bin/kafka-topics.sh --list --bootstrap-server localhost:9092`	列出所有Topic
`bin/kafka-topics.sh --describe --topic test-topic --bootstrap-server localhost:9092`	查看Topic详情
`bin/kafka-topics.sh --delete --topic test-topic --bootstrap-server localhost:9092`	删除Topic

五、性能优化建议

1. 内存配置调整

修改kafka-server-start.sh中的KAFKA_HEAP_OPTS：

export KAFKA_HEAP_OPTS="-Xms1G -Xmx1G"  # 根据内存调整

2. 日志存储优化

使用独立磁盘分区存储log.dirs。

定期清理旧日志：

log.retention.hours=24  # 保留24小时

3. 网络参数调优

# 增加发送/接收缓冲区
socket.send.buffer.bytes=1048576
socket.receive.buffer.bytes=1048576

六、常见问题解决

1. 端口冲突

若9092端口被占用，修改server.properties中的listeners和advertised.listeners为其他端口（如9093），并重启服务。

2. 日志目录权限问题

确保Kafka用户对log.dirs有读写权限：

sudo chown -R kafka:kafka /tmp/kafka-logs

3. 远程访问失败

若需远程访问，修改advertised.listeners为服务器公网IP：

advertised.listeners=PLAINTEXT://<公网IP>:9092

并开放防火墙端口：

sudo ufw allow 9092/tcp

七、总结与扩展

本文详细介绍了在Ubuntu系统上部署单机Kafka的全流程，包括环境准备、安装配置、基础操作及性能优化。通过实践，读者可掌握：

Kafka单机模式的核心配置。
常见问题的排查方法。
基础生产/消费操作。

扩展建议：

后续可学习Kafka集群部署、安全认证（SSL/SASL）等高级主题。
结合Elasticsearch或Flink构建实时数据处理管道。
参考Kafka官方文档深入理解设计原理。

通过合理配置，单机Kafka可满足开发测试及轻量级生产需求，为后续扩展至集群模式奠定基础。

Ubuntu系统下单机Kafka部署指南：从安装到实战