以下是Kafka集群简便扩容步骤:
-
准备新节点
- 确保新节点硬件资源(CPU、内存、磁盘)充足,安装与集群一致的Kafka版本。
- 配置
server.properties:设置唯一broker.id、监听地址(listeners)、日志目录(log.dirs)、ZooKeeper连接地址(zookeeper.connect)。
-
启动新节点
- 直接运行
bin/kafka-server-start.sh config/server.properties启动Broker。 - 通过ZooKeeper命令
ls /brokers/ids验证新节点是否加入集群。
- 直接运行
-
可选:分区重分配(均衡负载)
- 若需迁移数据,使用
kafka-reassign-partitions.sh工具:- 生成迁移计划:
--generate参数指定Topic列表和目标Broker列表。 - 执行迁移:
--execute参数应用计划。 - 验证进度:
--verify参数查看状态。
- 生成迁移计划:
- 若需迁移数据,使用
简化关键点:
- 新节点无需修改ZooKeeper配置,集群自动识别。
- 若仅需增加节点而不迁移数据,可跳过分区重分配步骤(仅适用于无数据倾斜场景)。
- 建议在低负载时段操作,避免影响集群性能。