物理服务器RAID配置与故障磁盘热替换操作手册

物理服务器RAID阵列的选型与规划

服务器运维中，RAID配置是影响数据安全和I/O性能的基础决策。选错RAID级别，轻则性能不达标，重则磁盘故障时数据全毁。物理服务器上架前必须完成RAID规划，而非等到系统装完再调整。

企业级服务器常见的RAID控制器（如Broadcom/LSI MegaRAID、PERC H740P等）支持多种RAID级别，但实际生产环境中最常用的是RAID 10和RAID 6两种。RAID 10提供最高随机读写性能和最好的故障容错，磁盘利用率50%；RAID 6允许同时坏两块盘，磁盘利用率(N-2)/N，适合对容量敏感的大容量存储场景。RAID 5在机械盘时代就有严重的重建风险（URE问题），NVMe SSD场景下虽然重建速度快，但单盘故障期间性能下降严重，不建议用于关键业务。

RAID 10配置操作步骤

以Dell PERC H740P控制器为例，通过storcli工具操作（比传统MegaCLI更直观）：

# 查看控制器和磁盘状态
storcli /c0 show
storcli /c0 /eall /sall show

# 确认所有磁盘状态为UGood（Unconfigured Good）
# 如果有JBOD状态的盘，先设为UGood
storcli /c0 /e252 /s1 set good force

# 创建RAID 10阵列，使用slot 0-3共4块盘
storcli /c0 add vd r10 drives=252:0-3 wb cached

# 参数说明：
# wb = Write Back，写缓存策略，性能优先
# cached = 启用读缓存
# 对于SSD，可追加 nofg=no（不设Fast Path，走RAID缓存）

创建完成后验证阵列状态：

storcli /c0 /vall show
# 确认VD状态为Optl（Optimal），RAID级别为RAID10

RAID 6配置与大容量阵列优化

当服务器插满12块4TB SAS盘，需要最大化可用容量时，RAID 6是合理选择：

# 使用12块SAS盘创建RAID 6
storcli /c0 add vd r6 drives=252:0-11 wb cached

# 查看初始化进度
storcli /c0 /v0 show init

RAID 6初始化（Background Initialization）会持续数小时到数天，取决于盘的数量和容量。初始化期间阵列可用，但性能会打折扣。生产环境建议等初始化完成后再上线业务，或者选择Fast Initialization（只清零首尾若干扇区，几秒完成），但Fast Init后阵列在首次写入前不具备完整冗余能力。

大容量RAID 6的关键调优参数：

# 设置重建优先级为高（默认中等，重建时性能影响大）
storcli /c0 /v0 set rebuild=high

# 设置Patrol Read（巡检读取）策略
# Patrol Read会在空闲时扫描所有扇区，提前发现坏块
storcli /c0 set pr=on
storcli /c0 set prrate=30  # 30%控制器资源用于巡检

# 关闭磁盘缓存（企业级SSD/SAS盘自带电容保护，无需RAID卡再管）
storcli /c0 /v0 set pdcache=off

热备盘配置与自动重建

没有热备盘的阵列等于没有容错。热备盘（Hot Spare）的作用是：当阵列中某块盘故障，控制器自动将热备盘纳入阵列并启动重建，无需人工干预。配置方法：

# 方式1：全局热备盘（推荐，任何VD故障都能用）
storcli /c0 /e252 /s12 add hotsparedrive dg=0

# 方式2：专用热备盘（只对指定DG生效）
storcli /c0 /e252 /s12 add hotsparedrive dgs=0 type=dedicated

# 查看热备盘状态
storcli /c0 /eall /sall show | grep -E "DHS|GHS"
# DHS = Dedicate Hot Spare, GHS = Global Hot Spare

热备盘数量建议：4盘RAID 10至少1块热备，12盘RAID 6至少2块热备。热备盘容量必须大于等于阵列中最小盘的容量。

故障磁盘热替换操作手册

磁盘故障是服务器运维中最常见的事件。正确操作流程如下：

第一步：确认故障盘位置

# 查看VD状态，定位故障盘
storcli /c0 /vall show
# 如果VD状态显示Dgrd（Degraded），说明有盘故障

# 找出具体哪块盘故障
storcli /c0 /eall /sall show | grep -E "Onln|Offln|Failed"
# Offln = 离线，Failed = 故障

# 记录故障盘的Enclosure ID和Slot号
# 例如：Enclosure=252, Slot=3, 状态Offln

第二步：将故障盘设为Missing

# 标记故障盘为Missing，让控制器知道这块盘已不可用
storcli /c0 /e252 /s3 set missing

# 如果热备盘已自动顶上，此时VD状态应该从Dgrd变为Optl（重建中）
# 如果没有热备盘，VD仍然是Dgrd，需要尽快替换物理盘

第三步：物理拔出故障盘

确认Slot号后，可以带电拔出故障盘（服务器支持热插拔）。拔盘前确认该盘不在重建过程中——如果热备盘正在重建数据到备用位置，此时拔盘可能导致重建中断。

# 检查重建进度
storcli /c0 /v0 show rebuild
# 等Rebuild Progress到100%再拔盘

第四步：插入新盘并重建

# 插入新盘后，确认识别
storcli /c0 /e252 /s3 show
# 状态应为UGood

# 如果控制器没有自动开始重建，手动触发
storcli /c0 /e252 /s3 start rebuild

第五步：监控重建完成

# 持续监控重建进度
watch -n 60 'storcli /c0 /v0 show rebuild'
# 重建时间取决于盘容量和控制器负载
# 4TB SAS盘 RAID 6重建通常需要6-12小时
# SSD重建快得多，通常1-3小时

RAID阵列性能诊断与常见瓶颈

RAID配置不当导致的性能问题远比硬件故障常见。排查思路：

写缓存策略检查：

storcli /c0 /v0 show | grep Cache
# WriteBack = 回写（最佳性能，断电有BBU/FBWC保护则安全）
# WriteThrough = 直写（安全但性能差）
# 如果VD显示WriteThrough，说明BBU/电容故障，需要更换

BBU（Battery Backup Unit）或FBWC（Flash-Based Write Cache）故障会导致控制器自动降级为WriteThrough模式，写性能可能下降60%以上。这种故障容易被忽略——服务器看起来正常，业务不报错，但写入延迟飙升。

I/O调度器适配：

机械盘场景建议使用deadline调度器，SSD场景使用none（noop）：

# 查看当前调度器
cat /sys/block/sda/queue/scheduler
# 输出：[mq-deadline] none

# SSD临时修改
echo none > /sys/block/sda/queue/scheduler

# 永久修改，通过grub参数
# 在/etc/default/grub中添加：
# GRUB_CMDLINE_LINUX=" elevator=none"
grub2-mkconfig -o /boot/grub2/grub.cfg

条带大小（Stripe Size）对齐：

RAID控制器的条带大小必须和文件系统的块大小以及数据库的页大小对齐。默认64KB条带对大多数场景合适，但如果数据库使用16KB页（如Oracle），将条带大小设为64KB会导致跨条带I/O增加延迟。建议数据库场景将条带大小调整为256KB或512KB，并通过分区对齐确保起始扇区是条带大小的整数倍：

# 创建VD时指定条带大小（单位KB，可选64/128/256/512/1M）
storcli /c0 add vd r10 drives=252:0-3 wb cached strpsz=256

# 分区时确保对齐（从2048扇区开始，即1MB对齐，满足所有条带大小）
parted /dev/sda mkpart primary 1MiB 100%

物理服务器的RAID运维不复杂，但每个细节都可能成为生产故障的导火索。配置前花30分钟做规划，远比故障后花3小时做恢复值得。