Prometheus时序数据模型与标签索引设计

Prometheus采用多维数据模型，每个时间序列由指标名称（metric name）和一组键值对标签（labels）唯一标识。数据点（sample）包含float64值和毫秒级时间戳。这种设计天然适合微服务和容器化环境的指标采集，每个Pod、容器、服务实例都可通过标签维度区分。

理解Prometheus的存储引擎对大规模监控部署至关重要。Prometheus内部使用自定义的时序数据库（TSDB），数据按时间分块存储，每个块（block）默认覆盖2小时时间范围。块内数据按序列有序排列，并通过Gorilla压缩算法对时间戳和值进行delta-of-delta编码和XOR浮点编码，压缩比通常达到10:1以上。

标签索引是查询性能的关键。Prometheus为每个标签的每个值构建倒排索引，查询时通过集合运算（交集）快速定位目标序列。以下是索引结构的简化表示：

# 倒排索引示意
# 标签 job="nginx" -> [series_1, series_3, series_7, ...]
# 标签 instance="10.0.0.1:9090" -> [series_1, series_5, ...]
# 查询: http_requests_total{job="nginx",instance="10.0.0.1:9090"}
# 结果 = postings(job=nginx) AND postings(instance=10.0.0.1:9090)

# 查询计划示例
type QueryPlan struct {
    matchers  []*labels.Matcher  // 标签匹配器
    postings  []uint64            // 匹配的series ID列表
    timeRange (int64, int64)      // 时间范围
}

PromQL查询语法与聚合运算符实战

PromQL是Prometheus的查询语言，支持即时查询（instant query）、范围查询（range query）和记录规则（recording rule）。即时查询返回某个时间点的值，范围查询返回时间窗口内的一系列值。两种查询的核心区别在于是否使用时间窗口选择器（如[5m]）。

基础查询语法：

# 即时查询：当前CPU使用率
100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)

# 范围查询：过去1小时的QPS趋势
rate(http_requests_total[5m])

# 多标签过滤
http_requests_total{job="nginx",method="GET",status=~"2.."}

# 聚合运算：按job分组计算总请求量
sum by (job) (rate(http_requests_total[5m]))

# 计算P99延迟
histogram_quantile(0.99, sum by (le) (rate(http_request_duration_seconds_bucket[5m])))

# 两个指标做除法得到错误率
sum(rate(http_requests_total{status=~"5.."}[5m])) /
sum(rate(http_requests_total[5m]))

PromQL的执行模型分为向量化执行和范围向量化执行。即时向量选择器返回每个序列在最新时间戳的值，范围向量选择器返回每个序列在时间窗口内的所有数据点。rate函数是range function，对范围向量计算每秒变化率，自动处理counter重置。

Prometheus存储引擎压缩算法与块管理

Prometheus TSDB的存储分为三部分：内存中的Head块、本地持久化块和可选的远程存储。Head块是正在写入的活跃块，数据先写入内存，定期刷写到磁盘WAL（Write-Ahead Log）保证持久性。当Head块超过2小时范围后，被压缩为不可变块并持久化到磁盘。

# prometheus.yml 存储相关配置
storage:
  tsdb:
    out_of_order_time_window: 30m  # 允许乱序写入的时间窗口

# 启动参数
prometheus   --storage.tsdb.path=/data/prometheus   --storage.tsdb.retention.time=30d   --storage.tsdb.retention.size=100GB   --storage.tsdb.min-block-duration=2h   --storage.tsdb.max-block-duration=2h   --storage.tsdb.wal-compression   --storage.tsdb.allow-overlapping-blocks

retention.time和retention.size同时配置时，任一条件满足即触发数据清理。wal-compression启用WAL压缩，减少磁盘占用约50%。allow-overlapping-blocks允许块重叠，在水平扩展和远程读场景中有用。

块压缩采用分层合并策略。多个小块定期合并为大块，默认最大块大小2小时。合并过程中对相同序列的数据点做重采样和压缩，消除冗余时间戳。压缩后的块通过mmap映射到内存，查询时按需读取，避免全量加载。

Alertmanager告警路由与抑制规则配置

Prometheus告警分两阶段：Prometheus Server中定义告警规则，触发后发送到Alertmanager做路由、分组、抑制和通知。Alertmanager的配置决定了告警的最终投递行为。

# alertmanager.yml
route:
  group_by: ['alertname', 'cluster', 'severity']
  group_wait: 30s          # 首次告警等待时间，合并同组告警
  group_interval: 5m       # 同组告警的发送间隔
  repeat_interval: 4h      # 重复告警间隔
  receiver: 'default'
  routes:
    - matchers: ['severity="critical"']
      receiver: 'pagerduty'
      group_wait: 10s
      repeat_interval: 1h
    - matchers: ['team="infra"']
      receiver: 'infra-webhook'
      routes:
        - matchers: ['alertname="NodeDown"']
          receiver: 'infra-phone'

receivers:
  - name: 'default'
    webhook_configs:
      - url: 'http://dingtalk:8060/send'
  - name: 'pagerduty'
    pagerduty_configs:
      - service_key: 'xxx'

inhibition_rules:
  - source_matchers: ['alertname="NodeDown"']
    target_matchers: ['alertname=~"Node.*"']
    equal: ['instance']
  # 节点宕机时抑制该节点上的其他告警

抑制规则（inhibition）在生产环境中非常重要。当NodeDown触发时，该节点上的CPU高负载、内存不足、磁盘空间告警都应被抑制，避免告警风暴。equal字段指定匹配维度，source和target在equal标签值相同时触发抑制。

Recording Rules可以将高频计算的结果预先存储为新的时间序列，降低查询压力：

# rules.yml
groups:
  - name: nginx_rules
    interval: 30s
    rules:
      - record: nginx:requests:rate5m
        expr: sum by (job) (rate(http_requests_total[5m]))

      - record: nginx:errors:ratio
        expr: |
          sum by (job) (rate(http_requests_total{status=~"5.."}[5m]))
          /
          sum by (job) (rate(http_requests_total[5m]))

      - alert: HighErrorRate
        expr: nginx:errors:ratio > 0.05
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: "Nginx错误率超过5%"

在大规模集群中，原始指标序列数可达百万级。直接在Grafana面板上查询rate聚合会消耗大量CPU。通过Recording Rules将聚合结果预计算并存储，Grafana查询预计算序列的开销降低一个数量级，面板加载时间从10秒降到1秒以内。