Ubuntu系统下单机Kafka部署指南：从环境准备到集群管理

一、引言：为何选择Ubuntu部署Kafka？

Kafka作为分布式流处理平台的核心组件，在实时数据管道和流应用中扮演关键角色。Ubuntu因其稳定性、社区支持和丰富的软件仓库，成为开发者部署Kafka的热门选择。单机部署适用于开发测试、小型应用或边缘计算场景，既能验证功能又可降低资源消耗。本文将系统讲解Ubuntu 22.04 LTS环境下Kafka的完整部署流程，涵盖环境准备、安装配置、启动测试及故障排查。

二、环境准备：前置条件与依赖安装

2.1 系统要求与版本选择

• Ubuntu版本：推荐22.04 LTS（长期支持版），兼顾稳定性与新特性支持。
• 硬件配置：至少4GB内存（生产环境建议8GB+）、双核CPU、20GB以上磁盘空间。
• 网络要求：确保端口9092（默认）未被占用，如需远程访问需配置防火墙规则。

2.2 安装Java运行环境

Kafka依赖Java，需安装OpenJDK 11或更高版本：

sudo apt update
sudo apt install openjdk-11-jdk -y
java -version  # 验证安装，输出应包含"openjdk version 11"

2.3 创建专用用户（可选但推荐）

为提升安全性，建议创建独立用户运行Kafka：

sudo useradd kafka -m -s /bin/bash
sudo passwd kafka  # 设置密码（测试环境可跳过）

三、Kafka安装与配置

3.1 下载与解压

从Apache官网获取最新稳定版（如3.6.0）：

wget https://dlcdn.apache.org/kafka/3.6.0/kafka_2.13-3.6.0.tgz
tar -xzf kafka_2.13-3.6.0.tgz -C /opt
sudo mv /opt/kafka_2.13-3.6.0 /opt/kafka
sudo chown -R kafka:kafka /opt/kafka  # 若使用专用用户

3.2 核心配置文件修改

编辑/opt/kafka/config/server.properties，重点调整以下参数：

# 监听地址（0.0.0.0允许远程访问，开发环境可用localhost）
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://your_server_ip:9092  # 远程访问需替换为实际IP
# 日志存储路径（确保目录存在且权限正确）
log.dirs=/var/lib/kafka
# 单机模式关键配置
broker.id=1  # 唯一标识符，单机可保持默认
num.partitions=3  # 默认分区数，根据业务需求调整

3.3 创建日志目录并授权

sudo mkdir -p /var/lib/kafka
sudo chown -R kafka:kafka /var/lib/kafka

四、启动与验证

4.1 启动Zookeeper（Kafka 2.8+可跳过）

Kafka 2.8.0起支持KRaft模式（无需Zookeeper），但传统模式仍需启动：

/opt/kafka/bin/zookeeper-server-start.sh -daemon /opt/kafka/config/zookeeper.properties

4.2 启动Kafka服务

/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties

4.3 验证服务状态

• 检查进程：

  ps aux | grep kafka

• 查看日志：

  tail -f /opt/kafka/logs/server.log

• 端口监听：

  netstat -tulnp | grep 9092

五、功能测试：创建主题与生产消费消息

5.1 创建测试主题

/opt/kafka/bin/kafka-topics.sh --create \
  --topic test-topic \
  --bootstrap-server localhost:9092 \
  --partitions 1 \
  --replication-factor 1

5.2 启动生产者发送消息

/opt/kafka/bin/kafka-console-producer.sh \
  --topic test-topic \
  --bootstrap-server localhost:9092

输入任意文本后按回车发送。

5.3 启动消费者接收消息

/opt/kafka/bin/kafka-console-consumer.sh \
  --topic test-topic \
  --from-beginning \
  --bootstrap-server localhost:9092

应看到之前发送的消息。

六、常见问题与解决方案

6.1 端口冲突

现象：启动失败，日志提示Address already in use。
解决：

sudo lsof -i :9092  # 查找占用进程
sudo kill -9 <PID>  # 终止冲突进程

6.2 权限不足

现象：log.dirs目录写入失败。
解决：确保Kafka用户对日志目录有读写权限：

sudo chown -R kafka:kafka /var/lib/kafka

6.3 远程访问失败

现象：客户端无法连接，提示Connection refused。
检查点：

1. 确认advertised.listeners配置为服务器公网IP。
2. 检查防火墙规则：

   sudo ufw allow 9092/tcp

3. 测试网络连通性：

   telnet your_server_ip 9092

七、优化建议与扩展配置

7.1 性能调优参数

• 内存分配：在kafka-server-start.sh中调整KAFKA_HEAP_OPTS：

  export KAFKA_HEAP_OPTS="-Xms1G -Xmx1G"  # 根据内存调整

• 日志保留策略：

  log.retention.hours=168  # 保留7天
  log.segment.bytes=1073741824  # 分段大小1GB

7.2 监控集成

推荐使用Prometheus + Grafana监控Kafka指标：

1. 下载JMX Exporter：

   wget https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.16.1/jmx_prometheus_javaagent-0.16.1.jar

2. 配置/opt/kafka/config/jmx-exporter.yml：

   startDelaySeconds: 0
   hostPort: localhost:9999
   ssl: false
   lowercaseOutputName: false
   rules:
     - pattern: "kafka.server<type=BrokerTopicMetrics><>(.*)"
       name: "kafka_server_brokertopicmetrics_$1"

3. 启动时添加JMX参数：

   export KAFKA_OPTS="-javaagent:/path/to/jmx_prometheus_javaagent-0.16.1.jar=9999:/opt/kafka/config/jmx-exporter.yml"

八、总结与下一步

本文详细阐述了Ubuntu系统下单机Kafka的部署流程，从环境准备到配置优化，覆盖了关键步骤与故障排查。对于生产环境，建议：

1. 升级至KRaft模式（Kafka 3.3+）以简化架构。
2. 配置多副本增强可靠性。
3. 集成监控与告警系统。

开发者可通过/opt/kafka/bin/kafka-topics.sh --describe --topic <topic>进一步探索主题元数据，或尝试使用Kafka Streams构建流处理应用。