OpenStack Mitaka块存储节点部署全解析

一、OpenStack Mitaka块存储架构概述

OpenStack Mitaka版本（2016年4月发布）的块存储服务由Cinder项目实现，采用模块化设计，核心组件包括：

• Cinder API服务：接收并处理用户请求
• Cinder Scheduler：负责存储资源调度
• Cinder Volume：管理存储后端（如LVM、Ceph等）
• Cinder Backup：提供卷备份功能

在Mitaka版本中，块存储节点与控制节点、计算节点解耦，支持分布式部署。这种架构允许存储资源独立扩展，提升系统整体性能。关键改进包括：

1. 存储驱动标准化：新增对NFSv4.1、ScaleIO等驱动的支持
2. 性能优化：通过缓存机制减少元数据操作延迟
3. QoS策略增强：支持基于带宽和IOPS的存储质量保障

二、安装前环境准备

2.1 硬件要求

块存储节点建议配置：

• CPU：4核以上（支持虚拟化扩展指令集）
• 内存：8GB DDR4（每TB存储需额外1GB内存）
• 存储：
  • 系统盘：200GB SSD（RAID1配置）
  • 数据盘：根据业务需求配置（如10TB×4 RAID10）
• 网络：双千兆网卡（绑定为bond0接口）

2.2 操作系统配置

以Ubuntu 16.04 LTS为例：

# 更新系统并安装依赖
sudo apt-get update
sudo apt-get install -y python-openstackclient \
    lvm2 thin-provisioning-tools \
    tgt open-iscsi
# 配置NTP服务
sudo apt-get install -y chrony
sudo sed -i 's/^server.*/server pool.ntp.org iburst/' /etc/chrony/chrony.conf
sudo systemctl restart chrony

2.3 网络配置要点

1. 管理网络：用于API通信（如10.0.0.0/24）
2. 存储网络：独立VLAN隔离iSCSI流量（如192.168.1.0/24）
3. 多路径配置（可选）：

   # 安装设备映射器多路径
   sudo apt-get install -y multipath-tools
   sudo cp /usr/share/doc/multipath-tools/examples/multipath.conf.defaults /etc/multipath.conf
   sudo systemctl enable multipath-tools

三、Cinder存储节点安装

3.1 安装Cinder核心组件

# 添加OpenStack Mitaka仓库
sudo apt-get install -y software-properties-common
sudo add-apt-repository -y cloud-archive:mitaka
sudo apt-get update
# 安装Cinder Volume服务
sudo apt-get install -y cinder-volume

3.2 配置存储后端

LVM驱动配置示例：

1. 创建物理卷和卷组：

   sudo pvcreate /dev/sdb /dev/sdc
   sudo vgcreate cinder-volumes /dev/sdb /dev/sdc

2. 编辑/etc/cinder/cinder.conf：
   ```ini
   [DEFAULT]
   enabled_backends = lvm
   transport_url = rabbit://openstack:RABBIT_PASS@controller
   auth_strategy = keystone
   my_ip = 10.0.0.40 # 存储节点管理IP

[lvm]
volume_driver = cinder.volume.drivers.lvm.LVMVolumeDriver
volume_group = cinder-volumes
target_protocol = iscsi
target_helper = tgtadm
volumes_dir = $state_path/volumes

#### Ceph RBD驱动配置（扩展）：
```ini
[rbd]
volume_driver = cinder.volume.drivers.rbd.RBDDriver
rbd_pool = volumes
rbd_ceph_conf = /etc/ceph/ceph.conf
rbd_flatten_volume_from_snapshot = false
rbd_max_clone_depth = 5
rbd_store_chunk_size = 4
rados_connect_timeout = -1

3.3 数据库与消息队列配置

1. 创建数据库用户（需在MySQL节点执行）：

   CREATE DATABASE cinder;
   GRANT ALL PRIVILEGES ON cinder.* TO 'cinder'@'%' IDENTIFIED BY 'CINDER_DBPASS';

2. 同步数据库：

   sudo cinder-manage db sync

3. 配置Keystone认证：

   [keystone_authtoken]
   auth_uri = http://controller:5000
   auth_url = http://controller:35357
   memcached_servers = controller:11211
   auth_type = password
   project_domain_name = Default
   user_domain_name = Default
   project_name = service
   username = cinder
   password = CINDER_PASS

四、服务启动与验证

4.1 服务管理

# 启动服务并设置开机自启
sudo systemctl enable cinder-volume.service
sudo systemctl start cinder-volume.service
# 检查服务状态
sudo systemctl status cinder-volume.service

4.2 功能验证

1. 创建测试卷：

   source ~/admin-openrc
   openstack volume create --size 10 test-volume

2. 检查卷状态：

   openstack volume list
   # 应显示状态为"available"的卷

3. iSCSI连接测试：

   # 在计算节点执行
   sudo iscsiadm -m discovery -t sendtargets -p <存储节点IP>
   sudo iscsiadm -m node --login

五、常见问题处理

5.1 卷创建失败排查

1. 检查日志：

   sudo journalctl -u cinder-volume -n 100 --no-pager

2. LVM空间不足：

   # 检查卷组剩余空间
   sudo vgs
   # 扩展逻辑卷（如需）
   sudo vgextend cinder-volumes /dev/sdd

5.2 性能优化建议

1. I/O调度器选择：

   # 对SSD存储建议使用noop调度器
   echo "noop" > /sys/block/sdX/queue/scheduler

2. 缓存配置：

   # 在cinder.conf中添加
   [lvm]
   iscsi_helper = lioadm  # 使用lio-utils替代tgtadm
   use_multipath_for_image_xfer = true

六、升级与维护

6.1 版本升级流程

1. 备份配置文件：

   sudo cp /etc/cinder/cinder.conf /etc/cinder/cinder.conf.bak

2. 升级包管理：

   sudo apt-get install -y cinder-api cinder-scheduler cinder-volume

3. 执行数据库迁移：

   sudo cinder-manage db upgrade

6.2 监控指标

关键监控项：

• 卷操作延迟：cinder.api.local.latencies
• 存储利用率：cinder.volume.usage
• iSCSI会话数：tgt.sessions.active

建议配置Prometheus+Grafana监控方案，设置阈值告警（如存储使用率>85%）。

七、最佳实践总结

1. 存储分离架构：将元数据与实际数据存储在不同物理设备
2. 多后端配置：同时支持高性能（SSD）和大容量（HDD）存储池
3. QoS策略：为不同业务等级设置IOPS限制（示例）：

   openstack volume qos create --consumer back-end --spec read_iops_sec=1000 gold-tier
   openstack volume type set --property qos:gold-tier lvs

通过以上步骤，可在OpenStack Mitaka环境中构建高可用、可扩展的块存储服务。实际部署时需根据业务负载调整参数，建议通过压力测试（如使用fio工具）验证系统性能。