Kafka配置Debian环境需要注意什么

在Debian上配置Kafka需注意以下关键事项:

  1. 依赖环境
    • 安装OpenJDK 11+(Kafka 3.x需更高版本)。
    • 若使用独立Zookeeper,需先安装并配置(Kafka 2.8+支持Kraft模式,可无需外部Zookeeper)。
  2. 配置参数
    • 修改server.properties:设置broker.id(集群唯一)、listeners(监听地址,如PLAINTEXT://:9092)、advertised.listeners(外部访问地址)、log.dirs(数据存储目录,建议自定义)。
    • 分区与副本:设置num.partitions(建议与节点数一致)和default.replication.factor(确保高可用,通常≥3)。
  3. 系统优化
    • 调整文件描述符限制:修改/etc/security/limits.conf/etc/sysctl.conf,避免因日志段过多导致异常。
    • 关闭防火墙或放行端口(9092、9093等)。
  4. 安全与权限
    • 启用TLS加密通信,配置SSL证书。
    • 通过ACL限制Topic访问权限。
  5. 运维管理
    • 配置日志轮转和监控(如使用Prometheus+Grafana),定期备份数据。
    • 若使用systemd管理,需在服务文件中指定JVM参数和日志路径。
  6. 版本兼容性
    • 优先选择Kafka 3.x最新稳定版,升级时需注意配置参数变化(如inter.broker.protocol.version)。

参考来源: