一、单机部署Ceph的适用场景与核心价值

在分布式存储系统领域，Ceph凭借其高扩展性、高可靠性和统一存储接口成为行业标杆。传统部署方案通常需要至少3个节点构成最小集群，但对于开发测试、POC验证或资源受限的边缘计算场景，单机部署Ceph具有显著优势：

资源效率最大化：在单台物理机或虚拟机上模拟完整Ceph集群，无需额外硬件投入
快速验证能力：20分钟内完成从环境准备到IO测试的全流程，加速技术验证周期
功能完整性验证：支持RADOS块设备、CephFS文件系统和RGW对象存储的全功能测试
教学演示价值：为培训场景提供轻量级、可重复的演示环境

值得注意的是，单机部署仅适用于非生产环境。其本质是通过容器化或虚拟化技术模拟多节点通信，无法体现真实分布式系统的容错机制。

二、环境准备与前置条件

1. 硬件配置要求

组件	最低配置	推荐配置
CPU	4核	8核（支持超线程）
内存	8GB	16GB（含2GB预留内存）
磁盘	1块SSD（100GB）	3块磁盘（SSD+HDD混合）
操作系统	Ubuntu 20.04	CentOS 8/RHEL 8

2. 软件依赖安装

# Ubuntu系统基础依赖
sudo apt update
sudo apt install -y lvm2 ntfs-3g ceph-common \
    python3-pip chrony ntpdate
# 配置时间同步（关键步骤）
sudo timedatectl set-ntp true
sudo ntpdate pool.ntp.org

3. 存储设备规划

建议采用LVM逻辑卷管理存储设备：

# 创建物理卷
sudo pvcreate /dev/sdb
# 创建卷组（预留20%空间）
sudo vgcreate ceph_vg /dev/sdb
# 创建3个逻辑卷（每个10GB）
sudo lvcreate -L 10G -n osd_data ceph_vg
sudo lvcreate -L 10G -n osd_wal ceph_vg
sudo lvcreate -L 10G -n osd_db ceph_vg

三、容器化部署方案（推荐）

1. 使用Docker Compose快速部署

version: '3.8'
services:
  mon:
    image: ceph/daemon:latest
    command: mon
    environment:
      - MON_IP=127.0.0.1
      - CEPH_PUBLIC_NETWORK=127.0.0.0/24
    volumes:
      - /etc/ceph:/etc/ceph
      - /var/lib/ceph/:/var/lib/ceph/
  osd:
    image: ceph/daemon:latest
    command: osd_directory --osd-directory /var/lib/ceph/osd
    environment:
      - OSD_FILESTORE=1
    volumes:
      - osd_data:/var/lib/ceph/osd
      - /etc/ceph:/etc/ceph
volumes:
  osd_data:
    driver_opts:
      type: none
      device: /dev/ceph_vg/osd_data
      o: bind

2. 关键配置参数优化

在/etc/ceph/ceph.conf中添加：

[global]
osd pool default size = 1
osd pool default min size = 1
osd crush chooseleaf type = 0
mon allow pool delete = true

四、验证测试与性能基准

1. 集群健康检查

# 检查集群状态
sudo ceph -s
# 预期输出：
#   cluster:
#     id:     a1b2c3d4-5678-90ef-1234-567890abcdef
#     health: HEALTH_OK
# 检查OSD状态
sudo ceph osd tree

2. 功能测试方案

块设备测试

# 创建存储池
sudo ceph osd pool create rbd_pool 128 128
# 初始化RBD
sudo rbd pool init rbd_pool
# 创建镜像并挂载
sudo rbd create --size 10G --pool rbd_pool test_img
sudo rbd map rbd_pool/test_img --name client.admin
sudo mkfs.xfs /dev/rbd0
sudo mount /dev/rbd0 /mnt

对象存储测试

# 启动RGW容器
docker run -d --name rgw \
  -p 8080:8080 \
  -e RGW_FRONTEND_TYPE=beast \
  ceph/daemon:latest rgw
# 使用s3cmd测试
s3cmd put testfile s3://testbucket/

3. 性能基准测试

使用fio进行IO测试：

# 块设备性能测试
fio --name=rbd_test --filename=/dev/rbd0 \
    --rw=randwrite --bs=4k --direct=1 \
    --size=1G --numjobs=4 --runtime=60 \
    --group_reporting

五、常见问题解决方案

1. 时钟同步问题

现象：HEALTH_WARN clock skew detected
解决：

# 配置chrony作为NTP客户端
sudo sed -i 's/^pool.*/server pool.ntp.org iburst/' /etc/chrony/chrony.conf
sudo systemctl restart chronyd

2. OSD启动失败

现象：failed to start osd.X
解决：

# 检查日志定位问题
sudo journalctl -u ceph-osd@X -f
# 常见原因：
# 1. 磁盘权限问题：chmod 750 /var/lib/ceph/osd
# 2. 配置文件错误：ceph auth get client.bootstrap-osd

3. 端口冲突处理

现象：Unable to bind to port 6789
解决：

# 检查端口占用
sudo netstat -tulnp | grep 6789
# 修改监听端口（在ceph.conf中）
[mon]
mon port = 6800

六、进阶优化建议

内存调优：在/etc/ceph/ceph.conf中添加：

[osd]
osd memory target = 4294967296  # 4GB
osd memory target autotune = true

日志轮转：配置logrotate防止日志文件过大

/var/log/ceph/*.log {
    daily
    rotate 7
    compress
    missingok
    notifempty
}

监控集成：部署Prometheus+Grafana监控

# 使用ceph-exporter
docker run -d --name ceph-exporter \
  -p 9128:9128 \
  -v /etc/ceph:/etc/ceph \
  digitalocean/ceph-exporter

通过本文提供的方案，开发者可以在单台服务器上快速构建功能完整的Ceph测试环境。实际部署中需特别注意：1）定期备份配置文件；2）使用版本控制管理配置变更；3）建立自动化测试脚本库。对于生产环境部署，建议至少采用3节点架构并配置专业的监控告警系统。

单机部署Ceph：轻量级环境下的存储实践指南