一、为何需要本地镜像仓库？

在Kubernetes生产环境中，直接使用公有云镜像仓库（如Docker Hub）或第三方仓库存在三大隐患：网络依赖风险（跨地域拉取镜像延迟高）、安全合规问题（镜像可能包含敏感信息）、成本不可控（大规模集群拉取镜像产生高额流量费用）。本地镜像仓库通过构建私有化存储，可实现镜像的集中管理、加速拉取、权限控制，是规模化集群的必备基础设施。

以某金融企业案例为例，其Kubernetes集群部署在私有云环境，原有方案依赖公有云仓库，导致：1）新节点初始化时拉取基础镜像耗时超过15分钟；2）每月产生数万元的跨区域流量费用；3）审计发现部分镜像包含未脱敏的配置文件。部署本地仓库后，镜像拉取时间缩短至30秒内，年度流量成本下降85%，且通过镜像签名机制杜绝了未授权镜像的部署。

二、技术选型：Harbor vs Nexus vs Artifactory

当前主流的私有镜像仓库方案包括：

Harbor：CNCF毕业项目，专为容器镜像设计，支持镜像复制、漏洞扫描、RBAC权限控制，与Kubernetes生态深度集成。其优势在于开箱即用的K8s适配性，例如通过Notary实现镜像签名，通过Clair进行漏洞扫描。
Nexus Repository：支持多种包类型（Docker、Maven、NPM等），适合多技术栈团队。但其Docker镜像功能相对基础，需手动配置反向代理才能支持高并发。
Artifactory：企业级解决方案，提供高可用集群、多站点复制，但商业版价格昂贵，开源版功能受限。

推荐方案：对于纯K8s环境，Harbor是最佳选择。其架构包含核心服务（API、UI）、数据库（PostgreSQL/MySQL）、存储驱动（S3/Filesystem/Swift）、JobService（执行扫描/复制任务）四大组件，可水平扩展以应对千级节点集群的请求。

三、Harbor部署实战：从单机到高可用

3.1 单机部署（开发测试环境）

使用Helm Chart可快速部署：

# 添加Harbor Helm仓库
helm repo add harbor https://helm.goharbor.io
# 创建命名空间
kubectl create ns harbor
# 部署（使用NodePort暴露服务）
helm install harbor harbor/harbor \
  --namespace harbor \
  --set expose.type=nodePort \
  --set expose.tls.enabled=false \
  --set persistence.persistentVolumeClaim.storageClass=standard

部署后需配置：

修改/etc/docker/daemon.json添加insecure-registry（仅测试环境）：
```
{
"insecure-registries": ["harbor-node-ip:30080"]
}
```

登录并推送镜像：

docker login harbor-node-ip:30080
docker tag nginx:latest harbor-node-ip:30080/library/nginx:v1
docker push harbor-node-ip:30080/library/nginx:v1

3.2 生产级高可用部署

关键配置项：

存储层：使用分布式存储（如Ceph RBD）或云存储（S3兼容接口），避免单点故障。
数据库：外部化PostgreSQL，配置主从复制。
缓存层：集成Redis作为会话存储，提升并发能力。
负载均衡：通过Ingress Controller暴露服务，配置TLS终止和健康检查。

示例Ingress配置：

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: harbor-ingress
  namespace: harbor
  annotations:
    nginx.ingress.kubernetes.io/proxy-body-size: "0"
    nginx.ingress.kubernetes.io/ssl-redirect: "true"
spec:
  tls:
  - hosts:
    - harbor.example.com
    secretName: harbor-tls
  rules:
  - host: harbor.example.com
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: harbor
            port:
              number: 80

四、与Kubernetes深度集成

4.1 镜像拉取策略优化

在Deployment中指定本地仓库地址：

spec:
  containers:
  - name: nginx
    image: harbor.example.com/library/nginx:v1
  imagePullSecrets:
  - name: harbor-secret  # 需提前创建包含认证信息的Secret

创建Secret的命令：

kubectl create secret docker-registry harbor-secret \
  --docker-server=harbor.example.com \
  --docker-username=admin \
  --docker-password=Harbor12345 \
  --namespace=default

4.2 镜像自动同步策略

通过Harbor的复制规则实现跨集群镜像同步。例如将生产环境的镜像自动同步到灾备环境：

在源Harbor中创建目标项目（如backup/library）。
配置复制规则：
- 名称：prod-to-backup
- 源资源过滤器：library/*
- 目标项目：backup/library
- 触发模式：事件驱动（推送时立即同步）

4.3 镜像安全加固

漏洞扫描：集成Clair或Trivy，在镜像推送后自动扫描，阻断高危漏洞镜像的部署。
内容信任：启用Notary实现镜像签名，K8s通过ImagePolicyWebhook仅允许签名镜像运行。
访问控制：通过Harbor的RBAC系统，按项目分配拉取/推送权限，例如仅允许开发团队推送dev/*镜像。

五、运维与监控

5.1 关键指标监控

通过Prometheus采集Harbor的Metrics：

# scrape_configs示例
- job_name: 'harbor'
  static_configs:
  - targets: ['harbor-core.harbor.svc:8001']

需关注的指标：

harbor_project_count：项目总数
harbor_artifact_count：镜像总数
harbor_pull_requests_total：拉取请求数
harbor_push_requests_total：推送请求数

5.2 日常维护操作

存储清理：定期执行garbage collection回收未引用的镜像层：
```
kubectl exec -it harbor-core -- /harbor/gc.sh
```
日志轮转：配置Fluentd收集Harbor的日志，按项目/操作类型分类存储。
备份恢复：备份PostgreSQL数据库和存储目录，测试恢复流程确保RTO<30分钟。

六、进阶优化技巧

P2P镜像分发：集成Dragonfly等P2P工具，在超大规模集群中降低网络带宽压力。
多架构支持：通过Harbor的multi-arch功能，同时存储amd64/arm64镜像，适配混合架构集群。
与CI/CD集成：在Jenkins/GitLab CI中配置自动构建并推送镜像到Harbor，结合ArgoCD实现GitOps流水线。

七、常见问题排查

502 Bad Gateway：检查Core服务日志，通常是数据库连接超时或存储空间不足。
镜像推送缓慢：调整max_upload_size参数（默认100MB），增大至500MB以支持大镜像。
权限拒绝错误：检查K8s的imagePullSecrets是否与Harbor的用户权限匹配。

通过部署本地镜像仓库，企业可构建起安全、高效、可控的容器镜像管理体系。实际部署中需根据集群规模（节点数、镜像量）、安全要求（等保三级/金融级）、运维能力（是否有专职SRE）选择合适的方案，并建立完善的监控告警和备份恢复机制。

Kubernetes本地镜像仓库部署全攻略：提升集群效能