ClickHouse(04)：从零开始搭建高可用ClickHouse集群指南

2025年11月16日 互联网

ClickHouse(04)：从零开始搭建高可用ClickHouse集群指南

一、集群架构设计基础

ClickHouse集群的核心优势在于通过分片（Shard）和副本（Replica）实现水平扩展与数据高可用。在04版本中，推荐采用”多分片+多副本”架构，例如3分片×2副本的典型配置，可同时满足查询并行化与故障容错需求。

1.1 节点角色划分

  • ZooKeeper集群：负责协调分布式DDL执行与副本同步，建议部署3-5个节点
  • ClickHouse节点：按功能分为：
    • 协调器节点（Coordinator）：处理客户端查询请求
    • 数据节点（Data Node）：存储实际数据
    • 混合节点（Hybrid）：同时承担两种角色

1.2 网络拓扑优化

建议采用三层网络架构：

  1. 客户端 → 负载均衡器 → 协调器集群 → 数据节点集群
  2.                      ↑
  3.                 ZooKeeper集群

关键优化点：

  • 跨机房部署时，ZooKeeper应与数据节点同机房
  • 协调器与数据节点间带宽需≥10Gbps
  • 启用Gossip协议进行节点状态同步

二、集群安装与配置

2.1 环境准备

系统要求：

  • CentOS 7/8 或 Ubuntu 20.04+
  • 每个节点至少8核CPU、64GB内存、500GB SSD存储
  • 时间同步（NTP服务误差<50ms）

安装包获取：

  1. # 使用官方YUM仓库（推荐）
  2. sudo yum install -y yum-utils
  3. sudo yum-config-manager --add-repo https://packages.clickhouse.com/rpm/stable/x86_64/clickhouse.repo
  4. sudo yum install -y clickhouse-server clickhouse-client

2.2 核心配置文件详解

2.2.1 主配置文件（/etc/clickhouse-server/config.xml）

  1. <remote_servers>
  2.     <my_cluster>
  3.         <shard>
  4.             <replica>
  5.                 <host>ch-node1</host>
  6.                 <port>9000</port>
  7.             </replica>
  8.             <replica>
  9.                 <host>ch-node2</host>
  10.                 <port>9000</port>
  11.             </replica>
  12.         </shard>
  13.         <shard>
  14.             <!-- 其他分片配置 -->
  15.         </shard>
  16.     </my_cluster>
  17. </remote_servers>
  19. <zookeeper>
  20.     <node index="1">
  21.         <host>zk1</host>
  22.         <port>2181</port>
  23.     </node>
  24.     <!-- 其他ZK节点 -->
  25. </zookeeper>

2.2.2 用户权限配置

  1. <users>
  2.     <default>
  3.         <password>secure_password</password>
  4.         <networks incl="networks" replace="replace">
  5.             <ip>::/0</ip>
  6.         </networks>
  7.         <profile>default</profile>
  8.         <quota>default</quota>
  9.     </default>
  10. </users>

2.3 分片与副本策略配置

在/etc/clickhouse-server/metrika.xml中定义：

  1. <tables>
  2.     <my_table>
  3.         <sharding_key>user_id</sharding_key>
  4.         <replica>
  5.             <host>ch-node1</host>
  6.             <priority>1</priority>
  7.         </replica>
  8.         <replica>
  9.             <host>ch-node2</host>
  10.             <priority>2</priority>
  11.         </replica>
  12.     </my_table>
  13. </tables>

三、数据分布与查询优化

3.1 分片键选择原则

  1. 均匀性：确保数据在各分片间均匀分布
  2. 查询相关性：常用查询条件应包含分片键
  3. 基数：高基数字段（如user_id）优于低基数字段

3.2 副本同步机制

ClickHouse 04版本支持两种同步模式：

  • 异步复制（默认）：延迟<5秒，适用于大多数场景
  • 同步复制：通过<sync_replication>1</sync_replication>启用，确保强一致性

3.3 查询路由优化

使用distributed_product_mode控制分布式查询行为：

  1. -- 在config.xml中设置
  2. <distributed_product_mode>global</distributed_product_mode>

可选模式：

  • deny：禁止跨分片JOIN
  • local：在协调器执行JOIN
  • global：在所有分片执行JOIN后合并

四、监控与运维体系

4.1 基础监控指标

指标类别 关键指标 告警阈值
查询性能 QueryDuration_ms >500ms
资源使用 MemoryUsage >80%
副本同步 ReplicationLag_seconds >60
ZooKeeper ZKSessionExpireCount >0

4.2 Prometheus配置示例

  1. # prometheus.yml
  2. scrape_configs:
  3.   - job_name: 'clickhouse'
  4.     static_configs:
  5.       - targets: ['ch-node1:9222', 'ch-node2:9222']
  6.     metrics_path: '/metrics'

4.3 常见故障处理

场景1：副本不同步

  1. # 检查副本状态
  2. SELECT * FROM system.replicas WHERE is_readonly;
  4. # 强制重新同步
  5. SYSTEM SYNC REPLICA 'db.table' ON CLUSTER 'my_cluster';

场景2：查询积压

  1. -- 查看积压查询
  2. SELECT * FROM system.processes;
  4. -- 终止长时间运行查询
  5. KILL QUERY WHERE query_id='xxx';

五、性能调优建议

5.1 存储优化

  • 使用merge_tree系列表引擎时，设置parts_to_throw_insert控制小文件合并
  • 配置background_pool_size为CPU核心数的70%

5.2 内存配置

  1. <max_memory_usage>85899345920</max_memory_usage>  <!-- 80GB -->
  2. <max_bytes_before_external_group_by>5368709120</max_bytes_before_external_group_by>  <!-- 5GB -->

5.3 网络优化

  • 启用compress选项减少数据传输量
  • 配置distributed_aggregation_memory_efficient为1

六、升级与扩展指南

6.1 滚动升级步骤

  1. 在单个节点执行： 
    1. sudo systemctl stop clickhouse-server
    2. sudo yum upgrade clickhouse-server
    3. sudo systemctl start clickhouse-server
  2. 验证版本： 
    1. SELECT version() FROM system.build_options;

6.2 水平扩展流程

  1. 添加新节点配置到metrika.xml
  2. 执行分布式DDL： 
    1. ALTER TABLE db.table ON CLUSTER my_cluster ADD COLUMN new_col UInt32;
  3. 使用SYSTEM RESTART REPLICA同步元数据

七、最佳实践总结

  1. 分片策略：初始建议3-5个分片，数据量>1TB时考虑扩展
  2. 副本配置：生产环境至少2个副本，关键业务建议3副本
  3. 监控体系：实现从节点级到集群级的全链路监控
  4. 备份方案：结合clickhouse-backup工具实现定期备份
  5. 容量规划：预留30%资源余量应对突发流量

通过以上架构设计与优化措施，可构建出支持每秒百万级查询、PB级数据存储的高可用ClickHouse集群。实际部署时建议先在测试环境验证配置，再逐步迁移到生产环境。

最新文章