一、日志监控场景：实时追踪与数据完整性保障

在分布式系统运维中，日志监控是故障排查的核心手段。当系统日志通过logrotate等工具进行轮转时，传统tail -f命令存在数据丢失风险，而Shell脚本可提供更可靠的解决方案。

1.1 实时日志追踪的缺陷与改进

tail -f命令通过持续读取文件末尾内容实现实时监控，但当日志文件被轮转（如按时间或大小分割）时，文件描述符仍指向原文件路径，导致新生成的日志文件无法被追踪。例如：

# 原始命令（存在轮转丢失风险）
tail -f /var/log/app.log

改进方案使用tail -F（注意大写）参数，该命令通过文件inode而非路径进行追踪，即使文件名变更也能持续监控：

# 改进方案：支持日志轮转的实时监控
tail -F /var/log/app.log

1.2 企业级日志监控实践

对于高并发系统，建议结合multitail工具实现多日志文件并行监控，或通过Shell脚本封装异常检测逻辑：

#!/bin/bash
# 实时监控日志并触发告警
LOG_FILE="/var/log/app.log"
ERROR_PATTERN="ERROR|CRITICAL"
tail -F "$LOG_FILE" | while read LINE; do
  if [[ "$LINE" =~ $ERROR_PATTERN ]]; then
    echo "[$(date)] Alert: $LINE" | mail -s "System Error" admin@example.com
  fi
done

该脚本通过正则匹配错误日志，并调用邮件服务通知运维人员，实现基础告警功能。

二、数值计算场景：浮点数处理的精确控制

在监控告警规则中，常需比较CPU使用率、内存占用等浮点数值。Shell原生仅支持整数运算，需借助外部工具实现精确计算。

2.1 浮点数比较的常见问题

直接使用bc或expr进行浮点运算会导致精度丢失或语法错误：

# 错误示例：无法直接比较浮点数
if [ 3.14 -gt 3.1 ]; then  # 报错：integer expression expected
  echo "Comparison failed"
fi

2.2 高精度计算解决方案

通过bc -l命令调用数学库实现浮点运算，结合Shell条件判断：

#!/bin/bash
# 浮点数比较示例
VALUE1=3.14
VALUE2=3.1
# 使用bc计算差值并判断
if [ "$(echo "$VALUE1 > $VALUE2" | bc -l)" -eq 1 ]; then
  echo "$VALUE1 is greater than $VALUE2"
fi

2.3 企业级监控中的数值处理

在构建监控系统时，建议封装浮点数比较函数以提高代码复用性：

#!/bin/bash
# 浮点数比较函数封装
float_compare() {
  local op=$1
  local val1=$2
  local val2=$3
  case $op in
    ">")  echo "$val1 > $val2" | bc -l ;;
    "<")  echo "$val1 < $val2" | bc -l ;;
    "==") echo "$val1 == $val2" | bc -l ;;
    *)    echo "Invalid operator" >&2; return 1 ;;
  esac
}
# 使用示例
if [ "$(float_compare ">" 98.5 95.0)" -eq 1 ]; then
  echo "CPU usage exceeds threshold"
fi

三、自动化告警场景：计数器重置与误报抑制

在监控系统中，短时波动可能导致告警风暴。通过Shell脚本实现计数器机制，可有效过滤瞬时异常。

3.1 误报产生的根本原因

监控系统通常基于阈值触发告警，但以下情况易导致误报：

网络瞬断后自动恢复
短暂资源竞争引发的性能尖峰
定时任务导致的资源占用波动

3.2 计数器机制的实现原理

通过维护一个计数器变量，记录连续触发告警的次数，仅当计数超过阈值时才执行实际告警操作：

#!/bin/bash
# 带计数器的告警抑制脚本
THRESHOLD=3  # 连续触发3次才告警
COUNTER_FILE="/tmp/alert_counter"
# 初始化计数器文件
[ ! -f "$COUNTER_FILE" ] && echo 0 > "$COUNTER_FILE"
# 模拟异常检测（实际应替换为真实监控逻辑）
if [ "$RANDOM" -gt 30000 ]; then  # 约30%概率触发"异常"
  current_count=$(cat "$COUNTER_FILE")
  new_count=$((current_count + 1))
  if [ "$new_count" -ge "$THRESHOLD" ]; then
    echo "Critical alert triggered after $new_count consecutive failures"
    # 实际告警操作（如发送短信、调用API等）
    echo 0 > "$COUNTER_FILE"  # 重置计数器
  else
    echo "$new_count" > "$COUNTER_FILE"
    echo "Warning: Potential issue detected (count: $new_count)"
  fi
else
  # 正常情况重置计数器
  echo 0 > "$COUNTER_FILE"
fi

3.3 生产环境优化建议

持久化存储：使用数据库或分布式存储替代文件系统，避免单点故障
动态阈值：结合历史数据动态调整告警阈值
多级告警：设置不同级别的计数器阈值（如WARNING/CRITICAL）
集群协调：在分布式系统中使用Redis等工具实现全局计数器同步

四、扩展应用场景：Shell脚本的更多可能性

除上述核心场景外，Shell脚本在以下领域同样发挥重要作用：

4.1 批量任务调度

通过cron结合Shell脚本实现复杂调度逻辑：

# 每周一凌晨清理过期日志
0 3 * * 1 /path/to/cleanup_script.sh

4.2 配置管理自动化

使用脚本统一管理多服务器配置：

#!/bin/bash
# 批量修改SSH端口示例
NEW_PORT=2222
for host in $(cat servers.txt); do
  ssh "$host" "sed -i 's/^#Port 22/Port $NEW_PORT/' /etc/ssh/sshd_config && systemctl restart sshd"
done

4.3 数据处理管道

构建高效的数据处理流水线：

# 日志分析管道示例
zcat access.log.*.gz | 
  awk '{print $1, $7}' | 
  sort | 
  uniq -c | 
  sort -nr | 
  head -20 > top_ips.txt

五、最佳实践总结

错误处理：始终检查命令返回值，使用set -euo pipefail启用严格模式
日志记录：为脚本添加详细日志，便于问题追踪
参数化设计：通过命令行参数接收配置，提高脚本灵活性
性能优化：避免在循环中频繁调用外部命令，优先使用内置字符串处理功能
安全考虑：对用户输入进行严格校验，防止命令注入攻击

通过系统掌握这些核心场景与技术要点，运维人员可显著提升Shell脚本开发能力，构建更稳定、高效的自动化运维体系。在实际应用中，建议结合具体业务需求进行定制化开发，并定期审查优化脚本逻辑。

Shell脚本编写场景全解析：从日志处理到自动化运维的实践指南