在Debian上配置Kafka需注意以下关键事项:
- 依赖环境
- 安装OpenJDK 11+(Kafka 3.x需更高版本)。
- 若使用独立Zookeeper,需先安装并配置(Kafka 2.8+支持Kraft模式,可无需外部Zookeeper)。
- 配置参数
- 修改
server.properties:设置broker.id(集群唯一)、listeners(监听地址,如PLAINTEXT://:9092)、advertised.listeners(外部访问地址)、log.dirs(数据存储目录,建议自定义)。 - 分区与副本:设置
num.partitions(建议与节点数一致)和default.replication.factor(确保高可用,通常≥3)。
- 修改
- 系统优化
- 调整文件描述符限制:修改
/etc/security/limits.conf和/etc/sysctl.conf,避免因日志段过多导致异常。 - 关闭防火墙或放行端口(9092、9093等)。
- 调整文件描述符限制:修改
- 安全与权限
- 启用TLS加密通信,配置SSL证书。
- 通过ACL限制Topic访问权限。
- 运维管理
- 配置日志轮转和监控(如使用Prometheus+Grafana),定期备份数据。
- 若使用systemd管理,需在服务文件中指定JVM参数和日志路径。
- 版本兼容性
- 优先选择Kafka 3.x最新稳定版,升级时需注意配置参数变化(如
inter.broker.protocol.version)。
- 优先选择Kafka 3.x最新稳定版,升级时需注意配置参数变化(如
参考来源: