单机部署Ceph：从零开始的完整指南与最佳实践

一、为何选择单机部署Ceph？

在分布式存储系统普遍应用的今天，单机部署Ceph看似”反潮流”，实则具有独特的适用场景。对于开发测试环境，单机部署可快速验证功能逻辑，避免多节点环境搭建的复杂性；对于边缘计算场景，资源受限的单机设备需要轻量级存储方案；对于教学演示，单机环境能清晰展示Ceph核心机制。根据Ceph官方文档，单机部署可支持最小3个OSD（对象存储设备）的模拟运行，足以验证RADOS块设备、RGW对象存储等核心功能。

二、环境准备：硬件与软件要求

硬件配置建议

CPU：建议4核以上，Ceph的CRUSH算法和元数据操作需要计算资源
内存：16GB起步，OSD进程每个约消耗1GB内存
磁盘：至少3块独立磁盘（SSD更佳），推荐使用不同型号避免同时故障
网络：千兆网卡，虽然单机但需保证内部组件通信效率

软件依赖清单

# Ubuntu/Debian系统
sudo apt update
sudo apt install -y lvm2 ntfs-3g ceph-common ceph-mgr ceph-osd ceph-mon
# CentOS/RHEL系统
sudo yum install -y lvm2 ceph-common ceph-mgr ceph-osd ceph-mon

建议使用Ceph官方提供的容器镜像（如quay.io/ceph/ceph:v17）进行部署，可避免环境依赖问题。

三、部署流程：分步骤详解

1. 初始化系统配置

# 修改主机名（重要，Ceph组件通过主机名识别）
sudo hostnamectl set-hostname ceph-single
# 配置/etc/hosts
echo "127.0.0.1   localhost ceph-single" | sudo tee -a /etc/hosts
# 关闭防火墙（测试环境）
sudo systemctl stop firewalld
sudo systemctl disable firewalld

2. 创建监控节点（MON）

# 生成初始密钥
sudo ceph-authtool --create-keyring /tmp/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'
# 创建监控目录
sudo mkdir -p /var/lib/ceph/mon/ceph-ceph-single
# 初始化监控节点
sudo ceph-mon --mkfs -i ceph-single --keyring /tmp/ceph.mon.keyring --monmap /tmp/monmap
# 启动服务
sudo systemctl enable ceph-mon@ceph-single
sudo systemctl start ceph-mon@ceph-single

3. 配置OSD存储

# 准备磁盘（假设使用/dev/sdb,/dev/sdc,/dev/sdd）
for disk in /dev/sdb /dev/sdc /dev/sdd; do
    sudo parted $disk mklabel gpt
    sudo parted $disk mkpart primary xfs 1MiB 100%
    sudo mkfs.xfs ${disk}1
done
# 创建OSD（以/dev/sdb1为例）
sudo ceph-volume lvm create --bluestore --data /dev/sdb1
# 验证OSD状态
sudo ceph osd tree

4. 部署管理组件（MGR）

# 启用MGR模块
sudo ceph mgr module enable dashboard
sudo ceph mgr module enable prometheus
# 创建管理密钥
sudo ceph auth get-or-create mgr.ceph-single mon 'profile mgr' osd 'allow *' mds 'allow *'
# 启动MGR服务
sudo systemctl enable ceph-mgr@ceph-single
sudo systemctl start ceph-mgr@ceph-single

四、配置优化：关键参数调整

1. 内存分配优化

在/etc/ceph/ceph.conf中添加：

[global]
osd memory target = 4GB  # 根据实际内存调整
osd max backfills = 1    # 限制回填并发数

2. 日志级别调整

# 临时调整
sudo ceph tell osd.* injectargs --debug_osd 0
# 永久生效（修改ceph.conf）
[osd]
debug osd = 0
debug ms = 0

3. 性能调优参数

[osd]
osd op threads = 2       # 操作线程数
osd disk threads = 2      # 磁盘线程数
filestore merge threshold = 40  # 合并写入阈值

五、验证部署：功能测试方法

1. 集群健康检查

sudo ceph -s
# 正常输出应显示：
#   cluster:
#     id:     xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
#     health: HEALTH_OK

2. 存储池测试

# 创建测试存储池
sudo ceph osd pool create rbd_pool 128 128
# 启用RBD功能
sudo rbd pool init rbd_pool
# 创建块设备
sudo rbd create --size 10G --pool rbd_pool test_image

3. 性能基准测试

# 使用fio测试
sudo apt install fio
fio --name=rbd_test --filename=/dev/rbd/rbd_pool/test_image \
    --rw=write --bs=4k --direct=1 --size=1G --numjobs=4 --runtime=60 --group_reporting

六、故障排查指南

常见问题1：OSD启动失败

现象：ceph osd tree显示OSD为down状态
解决方案：

检查日志：sudo journalctl -u ceph-osd@<osd_id>
验证磁盘状态：sudo ceph-volume lvm list
重新激活OSD：sudo ceph-volume lvm activate --osd-id <id>

常见问题2：MON选举失败

现象：ceph quorum_status显示不足法定人数
解决方案：

检查MON日志：sudo journalctl -u ceph-mon@ceph-single
验证时间同步：sudo chronyc tracking
重建MON映射：sudo ceph mon getmap -o /tmp/monmap

七、进阶应用场景

1. 容器化部署方案

# Dockerfile示例
FROM quay.io/ceph/ceph:v17
RUN apt-get update && apt-get install -y ceph-common
COPY ceph.conf /etc/ceph/
CMD ["ceph-osd", "--foreground", "--id", "0", "--setuser", "ceph", "--setgroup", "ceph"]

2. 与Kubernetes集成

# Rook Ceph Operator部署示例
apiVersion: apps/v1
kind: Deployment
metadata:
  name: rook-ceph-operator
spec:
  template:
    spec:
      containers:
      - name: rook-ceph-operator
        image: rook/ceph:v1.9.0
        env:
        - name: ROOK_LOG_LEVEL
          value: "DEBUG"

八、维护建议与最佳实践

定期健康检查：设置cron任务每天执行ceph -s和ceph health detail
日志轮转配置：在/etc/logrotate.d/中添加ceph日志轮转规则
升级策略：关注Ceph版本更新，使用ceph-deploy upgrade命令进行平滑升级
备份关键数据：定期备份/etc/ceph/ceph.client.admin.keyring和/var/lib/ceph/目录

单机部署Ceph虽然简单，但通过合理配置可实现接近生产环境的测试效果。建议开发者在完成基础部署后，逐步尝试CRUSH map定制、EC池配置等高级功能，为后续分布式部署积累经验。记住，单机环境最重要的价值在于快速验证和故障复现，而非承担实际生产负载。