服务器固件批量升级自动化：BMC IPMI脚本实战

服务器固件升级的必要性与风险管控

服务器固件（BIOS/BMC）漏洞是安全防护体系中最容易被忽视的环节。IPMI规范中多个已知CVE（如CVE-2020-9026、CVE-2022-26587）长期存在，攻击者可通过BMC漏洞绕过操作系统安全机制直接控制硬件层。固件升级本身存在风险——升级中断可能导致BMC无法启动，进而需要物理介入恢复。批量升级场景下，自动化脚本配合分批执行策略是平衡效率与安全的最佳方案。

IPMI协议与BMC管理基础

IPMI（Intelligent Platform Management Interface）允许管理员通过带外方式管理服务器，即使操作系统崩溃或服务器关机，只要BMC芯片通电即可远程操作。常用的IPMI工具链包括ipmitool命令行和pyghmi Python库。确保BMC网络与业务网络物理隔离，通过跳板机访问是基本安全实践。

# 检查ipmitool安装及BMC连通性
ipmitool -I lanplus -H 192.168.10.100 -U admin -P password chassis status

# 常用IPMI远程操作
ipmitool -I lanplus -H 192.168.10.100 -U admin -P password sel list        # 查看系统事件日志
ipmitool -I lanplus -H 192.168.10.100 -U admin -P password sensor read     # 读取传感器数据
ipmitool -I lanplus -H 192.168.10.100 -U admin -P password power status    # 查看电源状态

批量固件升级Python脚本设计

使用pyghmi库编写批量升级脚本，支持从CSV文件读取服务器清单、分批执行、超时控制和结果记录。脚本核心逻辑包括：固件上传、升级触发、进度轮询、完成验证四个阶段。

import csv
import time
import logging
from pyghmi.ipmi import command

logging.basicConfig(level=logging.INFO,
    format='%(asctime)s - %(host)s - %(levelname)s - %(message)s')

BATCH_SIZE = 5
UPGRADE_TIMEOUT = 600  # 10分钟超时

def upgrade_bmc(host, user, password, firmware_path):
    logger = logging.LoggerAdapter(logging.getLogger(), {'host': host})
    try:
        conn = command.Command(host, user, password)
        logger.info('连接BMC成功')

        # 上传固件
        logger.info(f'开始上传固件: {firmware_path}')
        conn.upload_firmware(firmware_path)
        logger.info('固件上传完成')

        # 触发升级
        conn.apply_firmware()
        logger.info('升级已触发，等待完成...')

        # 轮询BMC状态
        start = time.time()
        while time.time() - start < UPGRADE_TIMEOUT:
            time.sleep(30)
            try:
                conn_raw = command.Command(host, user, password)
                status = conn_raw.get_firmware_info()
                logger.info(f'BMC已恢复，固件版本: {status}')
                return True
            except Exception:
                logger.info('BMC重启中，继续等待...')

        logger.error('升级超时')
        return False
    except Exception as e:
        logger.error(f'升级失败: {e}')
        return False

def batch_upgrade(csv_path, firmware_path):
    servers = []
    with open(csv_path) as f:
        reader = csv.DictReader(f)
        for row in reader:
            servers.append(row)

    results = {'success': [], 'failed': []}
    for i in range(0, len(servers), BATCH_SIZE):
        batch = servers[i:i+BATCH_SIZE]
        logging.info(f'开始第 {i//BATCH_SIZE+1} 批升级，共 {len(batch)} 台')
        for svr in batch:
            ok = upgrade_bmc(
                svr['host'], svr['user'], svr['password'], firmware_path
            )
            key = svr['host']
            (results['success'] if ok else results['failed']).append(key)
        # 批次间等待，确保BMC完全就绪
        time.sleep(120)
        logging.info(f'第 {i//BATCH_SIZE+1} 批完成，等待2分钟后继续')

    logging.info(f"升级完成：成功 {len(results['success'])} 台，"
                f"失败 {len(results['failed'])} 台")
    return results

固件升级前后的健康检查流程

升级前需确认服务器当前负载低于30%，业务流量已切走。升级后验证BMC版本、SEL日志无异常错误、传感器数据正常是三个必检项。编写自动化检查脚本：

def health_check(host, user, password, expected_version):
    conn = command.Command(host, user, password)

    # 验证固件版本
    fw_info = conn.get_firmware_info()
    if expected_version not in str(fw_info):
        return False, '固件版本不匹配'

    # 检查SEL日志中的严重事件
    sel = conn.get_sel()
    critical_events = [e for e in sel if 'Critical' in str(e)]
    if critical_events:
        return False, f'发现 {len(critical_events)} 条严重事件'

    # 读取关键传感器
    sensors = conn.get_sensor_data()
    for s in sensors:
        if s.name in ['Temp', 'Fan1', 'Power']:
            if s.state == 'critical':
                return False, f'传感器 {s.name} 状态异常'

    return True, '健康检查通过'

升级回滚与应急恢复方案

BMC升级失败后恢复路径取决于故障程度：若BMC可Ping通但Web界面不可用，尝试通过IPMI serial-over-lan执行低级别重置；若BMC完全无响应，需物理断电后通过USB恢复模式刷写。建议每台服务器保留一份BMC配置备份（网络设置、用户账户、SNMP Trap目标），升级前通过ipmitool导出：

# 导出BMC配置备份
ipmitool -I lanplus -H 192.168.10.100 -U admin -P password \
    lan print > bmc_config_backup_192.168.10.100.txt
ipmitool -I lanplus -H 192.168.10.100 -U admin -P password \
    user list > bmc_users_backup_192.168.10.100.txt

批量升级场景下，将每批次间隔设置在5-10分钟，配合健康检查脚本的自动验证，可确保在问题扩散前及时中断升级流程。对于核心业务服务器，建议先在3-5台测试机上完成验证，确认固件版本稳定后再扩大范围。