开源云原生存储Rook：块存储快速入门实战

引言：云原生存储的挑战与Rook的定位

在云原生架构中，存储的弹性、高可用和性能优化是核心挑战。传统存储方案（如SAN、NAS）难以适应容器化环境的动态性，而分布式存储系统（如Ceph、GlusterFS）虽提供弹性，但部署复杂度高。Rook作为CNCF（云原生计算基金会）孵化的开源项目，通过将存储系统（如Ceph、EdgeFS）封装为Kubernetes Operator，实现了“存储即服务”的自动化管理。其块存储功能（基于Ceph RBD）尤其适合需要低延迟、高性能的场景（如数据库、中间件）。本文将围绕Rook块存储的部署、配置和实战使用展开，帮助开发者快速掌握核心技能。

一、Rook块存储的核心优势与技术原理

1.1 为什么选择Rook块存储？

• 自动化运维：通过Operator模式，Rook自动处理存储集群的部署、扩容、故障恢复等操作，减少人工干预。
• 高性能：基于Ceph RBD（RADOS Block Device）的块存储提供毫秒级延迟，支持QoS（服务质量）策略，满足关键业务需求。
• 云原生集成：与Kubernetes深度集成，支持动态卷供应（Dynamic Provisioning）、存储类（StorageClass）和持久卷声明（PVC），简化存储管理。
• 多租户支持：通过命名空间隔离存储资源，适合多团队共享的云原生环境。

1.2 技术架构解析

Rook块存储的核心组件包括：

• Rook Operator：Kubernetes自定义资源（CRD）的控制器，负责监控和管理存储集群。
• Ceph集群：底层存储引擎，提供对象存储、块存储和文件系统接口。
• CSI驱动：通过Container Storage Interface（CSI）实现与Kubernetes的交互，支持动态卷创建和挂载。
• 存储类（StorageClass）：定义存储的性能、冗余级别和访问模式，供PVC引用。

二、部署Rook块存储：从零到一的完整流程

2.1 环境准备

• Kubernetes集群：建议使用Kubernetes 1.19+版本，确保支持CSI 1.0+。
• 节点资源：至少3个节点（用于Ceph的冗余），每个节点需预留足够磁盘空间（如100GB+未格式化磁盘）。
• 依赖工具：kubectl、helm（可选）、curl。

2.2 部署Rook Operator

方法一：通过YAML文件部署

# 下载Rook部署清单
git clone --single-branch --branch v1.12.0 https://github.com/rook/rook.git
cd rook/deploy/examples
# 部署CRDs和Operator
kubectl create -f crds.yaml
kubectl create -f common.yaml
kubectl create -f operator.yaml

方法二：通过Helm部署（推荐）

# 添加Rook Helm仓库
helm repo add rook-release https://charts.rook.io/release
helm repo update
# 部署Rook Operator
helm install rook-ceph rook-release/rook-ceph --namespace rook-ceph --create-namespace

2.3 创建Ceph存储集群

编辑cluster.yaml（位于deploy/examples目录），配置关键参数：

apiVersion: ceph.rook.io/v1
kind: CephCluster
metadata:
  name: rook-ceph
  namespace: rook-ceph
spec:
  cephVersion:
    image: ceph/ceph:v18.2.0
  storage:
    useAllNodes: true
    useAllDevices: true
    # 或指定设备（更推荐）
    # devices:
    #   - name: "/dev/sdb"
    #   - name: "/dev/sdc"
  mon:
    count: 3
    allowMultiplePerNode: false

应用配置：

kubectl create -f cluster.yaml

验证集群状态：

kubectl -n rook-ceph get cephcluster
# 输出应为"HEALTH_OK"

三、实战：使用Rook块存储

3.1 创建存储类（StorageClass）

编辑storageclass.yaml：

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: rook-ceph-block
provisioner: rook-ceph.rbd.csi.ceph.com
parameters:
  clusterID: rook-ceph
  pool: replicapool
  imageFormat: "2"
  imageFeatures: "layering"
  csi.storage.k8s.io/provisioner-secret-name: rook-csi-rbd-provisioner
  csi.storage.k8s.io/provisioner-secret-namespace: rook-ceph
  csi.storage.k8s.io/node-stage-secret-name: rook-csi-rbd-node
  csi.storage.k8s.io/node-stage-secret-namespace: rook-ceph
reclaimPolicy: Delete
allowVolumeExpansion: true

应用配置：

kubectl create -f storageclass.yaml

3.2 动态创建持久卷声明（PVC）

编辑pvc.yaml：

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mysql-pvc
spec:
  accessModes:
    - ReadWriteOnce
  storageClassName: rook-ceph-block
  resources:
    requests:
      storage: 10Gi

应用配置并验证：

kubectl create -f pvc.yaml
kubectl get pvc
# 状态应为"Bound"

3.3 在Pod中使用块存储

编辑pod.yaml：

apiVersion: v1
kind: Pod
metadata:
  name: mysql-pod
spec:
  containers:
    - name: mysql
      image: mysql:5.7
      env:
        - name: MYSQL_ROOT_PASSWORD
          value: "password"
      volumeMounts:
        - name: mysql-data
          mountPath: /var/lib/mysql
  volumes:
    - name: mysql-data
      persistentVolumeClaim:
        claimName: mysql-pvc

应用配置并验证数据持久性：

kubectl create -f pod.yaml
# 写入测试数据
kubectl exec -it mysql-pod -- mysql -uroot -ppassword -e "CREATE DATABASE test;"
# 删除Pod后重新创建，验证数据是否保留

四、高级优化与故障排查

4.1 性能调优建议

• 调整RBD镜像特性：在StorageClass中启用fast-diff和deep-flatten以提升性能。
• QoS策略：通过Ceph的crush map调整数据分布，避免热点。
• 缓存层：结合open-cas或dm-cache实现读写缓存。

4.2 常见问题排查

• PVC卡在Pending状态：检查Operator日志（kubectl -n rook-ceph logs -l app=rook-ceph-operator），确认CSI驱动是否正常运行。
• IO延迟高：使用ceph osd perf检查OSD性能，调整osd_op_queue参数。
• 存储空间不足：通过ceph df监控集群使用率，动态扩容OSD。

五、总结与展望

Rook块存储通过云原生化的设计，将复杂的存储管理简化为Kubernetes资源操作，极大降低了企业上云的存储成本和技术门槛。未来，随着CSI规范的演进和Rook对更多存储后端（如NFS、iSCSI）的支持，其应用场景将进一步扩展。开发者可通过参与Rook社区（GitHub、Slack）持续跟进最新特性，共同推动云原生存储生态的发展。