Docker容器日志管理方案：从日志膨胀到集中采集的完整治理路径

Docker默认日志驱动的隐患与磁盘占用分析

Docker默认使用json-file日志驱动，所有容器的stdout/stderr输出以JSON格式写入/var/lib/docker/containers目录。不加限制时，高输出频率的容器日志会在数天内填满磁盘：

# 查看各容器日志文件大小
du -sh /var/lib/docker/containers/*/*-json.log | sort -rh | head -10

# 查看Docker整体磁盘占用
docker system df -v

# 单个容器日志大小
docker inspect --format='{{.LogPath}}' container_name | xargs ls -lh

日志膨胀的直接后果是磁盘写满导致容器无法写入、服务不可用。更隐蔽的问题是宿主机inode耗尽——即使磁盘空间充足，大量小日志文件也会导致inode满载。

日志驱动选型与全局限制配置

控制日志膨胀的第一步是配置全局日志限制，修改/etc/docker/daemon.json：

{
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "50m",
    "max-file": "3",
    "labels": "production",
    "env": "os,customer"
  }
}

该配置限制每个容器日志文件最大50MB，最多保留3个轮转文件，单容器日志上限150MB。重启Docker后生效，但已有容器不会自动继承——需要重建容器。

不同场景的日志驱动选型：

– json-file：默认驱动，适合开发和小规模部署，配合max-size/max-file限制使用

– local：Docker 18.09+引入，使用压缩存储，比json-file节省约50%空间

– journald：转发到systemd journal，适合CentOS/RHEL系统

– fluentd/syslog：直接转发到日志收集器，容器节点不落盘

# 使用local驱动（推荐）
{
  "log-driver": "local",
  "log-opts": {
    "max-size": "100m",
    "max-file": "5",
    "compress": "true"
  }
}

容器内应用日志的标准化输出

Docker日志管理的核心原则是：结构化日志输出到stdout/stderr，由日志收集器统一处理。应用日志需要遵循以下格式：

# Python结构化日志示例
import logging
import json
import sys
from datetime import datetime

class JSONFormatter(logging.Formatter):
    def format(self, record):
        log_entry = {
            "timestamp": datetime.utcnow().isoformat(),
            "level": record.levelname,
            "service": record.name,
            "message": record.getMessage(),
            "module": record.module,
            "line": record.lineno
        }
        if record.exc_info:
            log_entry["exception"] = self.formatException(record.exc_info)
        return json.dumps(log_entry)

handler = logging.StreamHandler(sys.stdout)
handler.setFormatter(JSONFormatter())
logger = logging.getLogger("myapp")
logger.addHandler(handler)
logger.setLevel(logging.INFO)

结构化日志的优势在于日志收集器可以按字段索引和过滤，比grep正则匹配效率高几个数量级。

EFK栈部署：Fluentd + Elasticsearch + Kibana

中等规模（10-50个节点）的容器日志采集推荐EFK栈。Fluentd作为DaemonSet部署在每个节点，采集Docker容器日志后发送到Elasticsearch：

# Fluentd DaemonSet核心配置
# fluentd-configmap.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: fluentd-config
  namespace: logging
data:
  fluent.conf: |
    <source>
      @type tail
      path /var/log/containers/*.log
      pos_file /var/log/fluentd-containers.log.pos
      tag kubernetes.*
      read_from_head true
      <parse>
        @type json
        time_key timestamp
        time_format %Y-%m-%dT%H:%M:%S.%NZ
      </parse>
    </source>
    <filter kubernetes.**>
      @type kubernetes_metadata
      @id filter_kube_metadata
    </filter>
    <match **>
      @type elasticsearch
      @id out_es
      @log_level info
      host elasticsearch.logging.svc.cluster.local
      port 9200
      logstash_format true
      logstash_prefix fluentd
      <buffer>
        @type file
        path /var/log/fluentd-buf/kubernetes
        flush_mode interval
        flush_interval 5s
        flush_thread_count 2
        retry_type exponential_backoff
        retry_forever true
        retry_max_interval 30
        chunk_limit_size 2M
        queue_limit_length 8
        overflow_action block
      </buffer>
    </match>

关键配置点：chunk_limit_size 2M防止单个缓冲块过大，overflow_action block在ES不可用时阻塞采集而非丢弃日志，retry_forever true确保日志最终送达。

日志采样与降级策略

高QPS服务的DEBUG级别日志可能每秒产生数万条，全量采集既浪费存储又影响查询性能。Fluentd的采样配置：

# 在filter阶段按比例采样
<filter kubernetes.**>
  @type record_transformer
  enable_ruby
  <record>
    # 保留ERROR日志全量，DEBUG日志采样10%
    _sampled ${record["level"] == "ERROR" ? true : (rand < 0.1)}
  </record>
</filter>

降级策略更直接的实现是在应用层控制日志级别。通过环境变量动态调整：

# 动态日志级别（Go示例）
import (
    "os"
    "log/slog"
)

func initLogger() *slog.Logger {
    level := slog.LevelInfo
    if os.Getenv("LOG_LEVEL") == "debug" {
        level = slog.LevelDebug
    }
    handler := slog.NewJSONHandler(os.Stdout, &slog.HandlerOptions{Level: level})
    return slog.New(handler)
}

日志存储成本优化与冷热分离

Elasticsearch存储日志的成本随数据量线性增长。冷热分离策略将热数据（近7天）放在SSD节点，冷数据（7天以上）迁移到HDD节点或对象存储：

# ILM（Index Lifecycle Management）策略
PUT _ilm/policy/logs-policy
{
  "policy": {
    "phases": {
      "hot": {
        "min_age": "0ms",
        "actions": {
          "rollover": { "max_size": "50gb", "max_age": "1d" },
          "set_priority": { "priority": 100 }
        }
      },
      "warm": {
        "min_age": "7d",
        "actions": {
          "forcemerge": { "max_num_segments": 1 },
          "shrink": { "number_of_shards": 1 },
          "set_priority": { "priority": 50 }
        }
      },
      "cold": {
        "min_age": "30d",
        "actions": {
          "set_priority": { "priority": 0 },
          "allocate": { "require": { "data": "cold" } }
        }
      },
      "delete": {
        "min_age": "90d",
        "actions": { "delete": {} }
      }
    }
  }
}

容器日志治理的优先级：先限制日志膨胀（max-size），再标准化输出格式（JSON结构化），最后部署集中采集（EFK/ELK）。没有前两步直接上采集方案，只会把垃圾数据加速灌入ES。