Kafka集群扩容主要通过添加新Broker节点实现，步骤如下：
-
准备工作
- 检查ZooKeeper集群健康状态，确保网络、磁盘、CPU等资源充足。
- 准备新服务器，安装与集群一致的Kafka版本，配置好Java环境。
-
添加新Broker节点
- 配置新节点：修改
server.properties，设置唯一broker.id、监听地址（listeners）、日志目录（log.dirs）及ZooKeeper连接信息。 - 启动新节点：执行
kafka-server-start.sh启动Broker，确保节点成功加入集群。
- 配置新节点：修改
-
更新集群配置（可选）
- 若使用ZooKeeper管理集群，需在ZooKeeper配置中添加新节点信息，并重启ZooKeeper。
-
分区重分配（可选）
- 使用
kafka-reassign-partitions.sh工具生成并执行分区迁移计划，将部分分区迁移到新节点，实现负载均衡。 - 步骤：生成计划 → 执行迁移 → 验证完成。
- 使用
-
验证与监控
- 通过
kafka-topics.sh查看Topic分布，确认新节点已承担流量。 - 使用监控工具（如Prometheus）观察集群性能，确保无异常。
- 通过
注意事项：
- 扩容建议在低负载时段进行，避免影响业务。
- 若需调整Topic分区数，需提前规划，避免频繁变更。
- 确保新节点配置与集群其他节点一致，尤其是ZooKeeper连接信息。
参考来源：