一、故障类型与恢复策略

1. HMaster/RegionServer宕机

   • 确保Zookeeper集群正常，重启对应进程。
   • 检查日志确认无异常后，验证集群状态。

2. 数据文件损坏

   • 使用hbck工具检测修复：/hbase/bin/hbck -repair。
   • 若为物理文件损坏，从备份恢复数据目录。

3. 配置错误

   • 检查hbase-site.xml等配置文件，修正错误后重启集群。

4. 误删数据恢复

   • 若启用快照，通过restore_snapshot命令恢复。
   • 未启用快照时，利用WAL日志重放操作（需提前配置）。

二、关键操作步骤

1. 备份与恢复

   • 全量备份：hbase backup create full /backup/path。
   • 快照恢复：
     • 创建快照：hbase> create_snapshot 'table_name', 'snapshot_name'。
     • 恢复快照：hbase> restore_snapshot 'snapshot_name'。

2. 日志与状态监控

   • 恢复后通过hbase shell执行status和scan命令验证数据完整性。
   • 持续监控Zookeeper和HBase日志，确保集群稳定。

三、预防措施

• 定期备份：每周执行全量备份，关键表可增量备份。
• 高可用配置：部署多Master和RegionServer，避免单点故障。
• 权限与权限管理：限制对数据目录的直接操作，通过HBase API管理数据。

四、注意事项

• 恢复前务必确认备份完整，建议在测试环境验证流程。
• 操作前备份当前数据目录，避免二次损坏。
• 大规模数据恢复时，优先在低峰期执行，减少对业务影响。

参考来源：