自我结帖。还是在于我的环境问题。我试验环境为嵌套虚拟化。宿主机本身是一个虚拟机，然后在改虚拟机里把virt-install 安装的vm 的默认模拟器qemu-kvm 更改为qemu-system-x86_64 会导致 其guest vm ，即使本地存储也 不能正常工作（体现如果guest vm 采取disk bus = virtio 则 guest vm 启动时找不到virtio 硬盘vda。如果 disk bus = ide 或scsi 则 guest vm kernel 会启动时crash down）。

最新试验，发现这个还与ceph 没什么关系。我采取本地磁盘，vm 都卡住了，相似qemu 模拟的虚拟机找不到virtio 驱动的磁盘。这是为何导致基于qemu 源码自编的qemu 不能找到virtio 驱动的vm 的磁盘呢？ 

初步定位是采用源码编译的qemu-system-x86_64 ，虽然编译时带着 --enable-rbd 参数，可能还缺少什么参数

继续补充上面问题信息，ceph 部署 是参考链接：【CEPH-初识篇】ceph详细介绍、搭建集群及使用，带你认识新大陆-云社区-华为云 (huaweicloud.com) 中介绍的方法，检查ceph 状态都ok。172.24.193.62 ceph-1 172.24.193.63 ceph-2 172.24.193.64 ceph-3 172.24.193.93 ceph-client [root@ceph-1 ceph]# lsblk NAME                                                                                                  MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT fd0                                                                                                     2:0    1    4K  0 disk  sda                                                                                                     8:0    0   60G  0 disk  ├─sda1                                                                                                  8:1    0    1G  0 part /boot └─sda2                                                                                                  8:2    0   59G  0 part    ├─centos-root                                                                                       253:0    0 35.6G  0 lvm  /   ├─centos-swap                                                                                       253:1    0    6G  0 lvm  [SWAP]   └─centos-home                                                                                       253:2    0 17.4G  0 lvm  /home sdb                                                                                                     8:16   0   80G  0 disk  └─ceph--308b67e5--9bf3--45b3--8f03--d48f05f3c743-osd--block--b9e8205f--22f8--4d12--ba8a--1141a08da794 253:3    0   80G  0 lvm   sr0