Ceph分布式存储工作部署仪表盘及测试
Ceph是一个分布式存储系统，诞生于2004年，最早致力于开发下一代高性能分布式文件系统的项目。经过多年的发展之后，已得到众多云计算和存储厂商的支持，成为应用最广泛的开源分布式存储平台。随着云计算的发展，ceph乘上了OpenStack的春风，进而成为了开源社区受关注较高的项目之一。Ceph可以将多台服务器组成一个超大集群，把这些机器中的磁盘资源整合到一块儿，形成一个大的资源池（PB级别），然后按需分配给应用使用。
新加磁盘
把ceph1-3 关机 poweroff
在mon新加两块磁盘，不分区，专门使用(前面讲过，如何增加磁盘)
部署 osd 存储节点(ceph-1...3)
查看磁盘：
lsblk
#如果是利旧的硬盘，则需要先擦净（删除分区表）磁盘（可选） 无数据的新硬盘跳过
disk zap：这是 ceph-deploy 的子命令，作用是清除指定磁盘上的分区表和数据，使其恢复为原始状态（类似于初始化磁盘）。这个操作会彻底删除磁盘上的所有数据，包括分区信息。
#ceph-1...3 cd /etc/ceph ceph-deploy disk zap ceph-1 /dev/sdb ceph-deploy disk zap ceph-1 /dev/sdc ceph-deploy disk zap ceph-2 /dev/sdb ceph-deploy disk zap ceph-2 /dev/sdc ceph-deploy disk zap ceph-3 /dev/sdb ceph-deploy disk zap ceph-3 /dev/sdc
11）添加osd节点（在admin操作）
整个命令成功在 ceph-1 -2 -3 节点上用 /dev/sdb 磁盘创建了 ID 为 0 的 OSD，采用 LVM 管理磁盘、Bluestore 作为存储引擎，并完成了权限配置、密钥生成、服务启动等所有必要步骤。日志中的警告多为临时状态或配置路径问题，未影响最终结果，OSD 已可正常加入集群提供存储服务。
ceph-deploy --overwrite-conf osd create ceph-1 --data /dev/sdb ceph-deploy --overwrite-conf osd create ceph-1 --data /dev/sdc ceph-deploy --overwrite-conf osd create ceph-1 --data /dev/sdd ceph-deploy --overwrite-conf osd create ceph-2 --data /dev/sdb ceph-deploy --overwrite-conf osd create ceph-2 --data /dev/sdc ceph-deploy --overwrite-conf osd create ceph-2 --data /dev/sdd ceph-deploy --overwrite-conf osd create ceph-3 --data /dev/sdb ceph-deploy --overwrite-conf osd create ceph-3 --data /dev/sdc ceph-deploy --overwrite-conf osd create ceph-3 --data /dev/sdd
在每个ceph-1 -2 -3查看在 /var/lib/ceph/osd/ceph-0（ceph-0 表示 OSD ID 为 0）目录挂载临时文件系统（tmpfs），用于临时存储 OSD 配置
#通过查看 ceph 集群状态，验证上方OSD节点添加是否成功
ceph -s
查看OSD状态:
ceph osd stat
部署 mgr(admin操作)
cd /etc/ceph
ceph-deploy mgr create ceph-1 ceph-2
#扩容 mgr 节点
ceph-deploy mgr create ceph-3
开启监控模块
在ceph-1，2，3上操作
#查看active
ceph -s | grep mgr
在active上安装 ceph管理的仪表盘
yum install -y ceph-mgr-dashboard
（以下步骤都是在admin操作）
进入配置目录
cd /etc/ceph
列出mgr的模块 ：
ceph mgr module ls
筛选
ceph mgr module ls | grep dashboard
#开启 dashboard 模块
ceph mgr module enable dashboard --force
#禁用 dashboard 的 ssl （安全验证功能）功能
ceph config set mgr mgr/dashboard/ssl false
#配置 dashboard 监听的地址和端口（1024-49151）
ceph config set mgr mgr/dashboard/server_addr 0.0.0.0 ceph config set mgr mgr/dashboard/server_port 18000
#重启 dashboard
ceph mgr module disable dashboard ceph mgr module enable dashboard --force
#确认访问 dashboard 的 url
ceph mgr services #设置 dashboard 账户以及密码 echo "tiger" > dashboard_passwd.txt cat dashboard_passwd.txt ceph dashboard set-login-credentials admin -i dashboard_passwd.txt
web 测试
浏览器访问：
http://192.168.170.141:18000/#/login?returnUrl=%2Fdashboard
问题在于允许不安全的全局ID回收。全局ID在Ceph中用于唯一标识对象，不安全的回收可能导致数据不一致。建议保持禁止不安全的全局ID回收以维护数据一致性。
ceph status
ceph config set mon auth_allow_insecure_global_id_reclaim false
auth_allow_insecure_global_id_reclaim用于控制是否允许在不安全的情况下重新声明全局ID
ceph -s
- 点赞
- 收藏
- 关注作者
评论（0）