云计算的三个组成部分：计算、存储、网络，在各种云平台管理之下，我们的这些资源可以完美的融合到一起，Openstack作为最优秀的开源平台，被各大厂商使用。在如今，超融合的概念更被大家熟知，通过分布式集中存储架构将计算和存储融为一体，就能够完成“超融合系统”的落地。
Ceph是一种大容量、通过负载实现高性能和高性能的分布式文件系统，也是OpenStack 里寄予厚望的开源存储解决方案，我在上一篇文章中已经完成了Ceph集群的部署，这里便使用现成的Ceph集群测试环境。
实验拓扑：

Ceph三个节点构建分布式存储集群，通过修改配置对接Openstack中Cinder、Glance、nova服务组件，完成Openstack超融合，为云平台提供块存储、镜像存储、虚拟机文件存储

一、配置Openstack为Ceph客户端

1、客户端安装

#将openstack节点添加hosts，install安装ceph客户端软件，admin将配置拷贝到节点

[root@ceph-node1 ~]# echo '192.168.1.110 controller' >> /etc/hosts
[root@ceph-node1 ceph]# ceph-deploy install controller
[root@ceph-node1 ceph]# ceph-deploy admin controller

2.配置后端存储池

#分别创建存储池对应glance\nova\cinder服务

[root@ceph-node1 ceph]# ceph osd pool create images 128
pool 'images' created
[root@ceph-node1 ceph]# ceph osd pool create vms 128
pool 'vms' created
[root@ceph-node1 ceph]# ceph osd pool create volumes 128
pool 'volumes' created

查看当前存储池

#创建存储用户认证，PS：更新认证使用caps

[root@ceph-node1 ceph]# ceph auth get-or-create client.glance mon 'allow r' osd 'allow class-read object_prefix rbd_children,allow rwx pool=images'
[client.glance.mon]
        key = AQAwxx1frBmLLBAAmcelOkoq55BQgb0u34gJfw==

#拷贝密钥到openstack

[root@ceph-node1 ceph]# ceph auth get-or-create client.glance|ssh controller tee /etc/ceph/ceph.client.glance.keyring
root@controller's password: 
[client.glance]
        key = AQBgxx1fMX9gGRAANQb0KICq1bExhGVQ6qYhkg==

#修改节点的keyring权限

[root@ceph-node1 ceph]# ssh controller chown glance:glance /etc/ceph/ceph.client.glance.keyring 
root@controller's password: 

二、配置Glance服务

#修改glance-api.conf配置，如下

[root@controller glance]# vim /etc/glance/glance-api.conf 
[DEFAULT]
rpc_backend = rabbit
show_image_direct_url = True

[glance_store]
stores = rbd
default_store = rbd
rbd_store_pool = images
rbd_store_user = glance
rbd_store_ceph_conf = /etc/ceph/ceph.conf
rbd_store_chunk_size = 8

#修改完成后重启glance-api服务
[root@controller glance]# openstack-service restart glance-api

测试：

在ceph中启动虚拟机，只支持镜像格式为raw，因此先转换镜像格式为raw
[root@controller images]# qemu-img convert -p -f qcow2 -O raw cirros-0.3.4-x86_64-disk.img cirros.raw
(100.00/100%)
使用glance image-create命令上传镜像

成功上传后，rbd ls images查看镜像池

可以看到存储池中的文件与镜像的ID相同，glance后端存储配置完成

三、配置NOVA服务

建议先配置Cinder服务的对接

Nova compute使用RBD有两种方式：一种是将cinder volume挂载给虚拟机；另一种是从Cinder volume 上启动虚拟机，此时Nova需要创建一个RBD image，把glance image的内容导入，再交给libvirt。
这边验证第一种Nova使用Ceph的情况：

[root@controller ~]# vim /etc/nova/nova.conf 
[libvirt]
virt_type = qemu
inject_key = True
rbd_user = cinder
rbd_secret_uuid = 674fea11-e69e-4c95-b378-2baa19cd6b4e
[root@controller ~]# systemctl restart openstack-nova-compute

测试：

查询网络id，nova boot启动一台cirros镜像的实例，名称为ceph-VM-test

查询之前创建在ceph的云硬盘ID，nova volume-attach挂载云硬盘到ceph-VM-test实例

再次列出cinder硬盘，可以看到卷成功挂载

Dashboard上云主机界面，云主机正常运行

Dashboard上卷界面，云硬盘挂载正常

网络配置正常，ssh连接实例成功

四、配置Cinder服务

#创建cinder认证

[root@ceph-node1 ceph]# ceph auth get-or-create client.cinder mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=volumes,allow rwx pool=vms, allow rx pool=images'
[client.cinder]
        key = AQBl0R1fa0KcFBAA3GDkcSyiC+A50ufHyqc6qQ==

#拷贝keyring文件到openstack

[root@ceph-node1 ceph]# ceph auth get-or-create client.cinder|ssh controller tee /etc/ceph/ceph.client.cinder.keyring
root@controller's password: 
[client.cinder]
        key = AQBl0R1fa0KcFBAA3GDkcSyiC+A50ufHyqc6qQ==

#修改keyring文件权限

[root@ceph-node1 ceph]# ssh controller chown cinder:cinder /etc/ceph/ceph.client.cinder.keyring
root@controller's password: 

在Openstack节点上生成UUID，编写定义secret.xml文件，设置密钥给libvirt
#openstack创建uuid

[root@controller ~]# uuidgen
674fea11-e69e-4c95-b378-2baa19cd6b4e

#编写定义secret.xml文件，拷贝UUID

[root@controller ~]# vim secret.xml
<secret ephemeral='no' private='no'>
<uuid>674fea11-e69e-4c95-b378-2baa19cd6b4e</uuid>
<usage type='ceph'>
<name>client.cinder secret</name>
</usage>
</secret>

#define定义密钥文件

[root@controller ~]# virsh secret-define --file secret.xml 
生成 secret 674fea11-e69e-4c95-b378-2baa19cd6b4e

#生成保密字符串文件
[root@controller ~]# virsh secret-set-value --secret 674fea11-e69e-4c95-b378-2baa19cd6b4e --base64 $(cat ./client.cinder.key)
secret 值设定

查看系统密钥文件

[root@controller ceph]# vim /etc/cinder/cinder.conf
[DEFAULT]
rpc_backend = rabbit
auth_strategy = keystone
my_ip = 192.168.1.110
enabled_backends = ceph
glance_api_servers = http://controller:9292

[ceph]
volume_driver = cinder.volume.drivers.rbd.RBDDriver
rbd_pool = volumes
rbd_ceph_conf = /etc/ceph/ceph.conf
rbd_flatten_volume_from_snapshot = false
rbd_max_clone_depth = 5
rbd_store_chunk_size = 4
rados_connect_timeout = -1
glance_api_version = 2
rbd_user = cinder
rbd_secret_uuid = 674fea11-e69e-4c95-b378-2baa19cd6b4e

#重启服务

[root@controller ceph]# systemctl restart openstack-cinder-volume.service

测试:

cinder创建磁盘ceph-disk

列出cinder磁盘，新建的磁盘状态为available

dashboard界面显示可用

最后到存储池中查看，已经有ID和ceph-disk卷相同的文件。cinder对接ceph完成