rbd锁引起kvm虚拟机无法启动的故障
前言
环境因为一些问题（网络，或者磁盘，或者其它各种异常），引起了集群的状态的一些变化，变化之后，集群的某些虚拟机正常某些虚拟机出现异常，异常现象就是无法启动
特别是win server2008 ,会一直卡在滚动条这里
这个问题很久前碰到过一个哥们出现过，他问我是否遇到过，这个之前遇到过一次无法启动的，通过导出导入的方式解决了，当时一直也没找到原因
这个哥们告诉我，通过关闭rbd的属性后，就可以正常启动了，当时就记了下，也没分析更深层次的原因
最近有一个环境因为时间过快，往回调整了十几分钟，集群出现mon选举，osd出现闪断以后，部分虚拟机出现无法启动的情况
问题分析
导入导出或者克隆基本可以判断数据是没有问题的，那么应该就是其它问题
通过关闭属性可以解决，那么大概能够定位到这几个属性相关的
features: layering, exclusive-lock, object-map, fast-diff, deep-flatten
而锁文件是最大的怀疑，之前处理ctdb的时候，就有过锁没有加上超时时间，然后ctdb挂掉以后，锁不会自动释放的问题，怀疑这个地方类似
我们的rbd的镜像如下
[root@lab101 vm]# rbd info rbd/windows-server-8-base-clone
rbd image 'windows-server-8-base-clone':
size 50GiB in 12800 objects
order 22 (4MiB objects)
block_name_prefix: rbd_data.102376b8b4567
format: 2
features: layering, exclusive-lock, object-map, fast-diff, deep-flatten
flags:
create_timestamp: Fri Dec 18 11:56:27 2020
parent: rbd/windows-server-8-base@for-clone
overlap: 50GiB
这个地方会有两个对象被上锁
[root@lab101 ceph]# rbd lock ls rbd/windows-server-8-base-clone
There is 1 exclusive lock on this image.
Locker ID Address
client.96545 auto 94013702760192 192.168.19.101:0/915896787
object_map的rbd_lock
[root@lab101 ceph]# rados -p rbd lock info rbd_object_map.102376b8b4567 rbd_lock
{"name":"rbd_lock","type":"exclusive","tag":"","lockers":[{"name":"client.96943","cookie":"","description":"","expiration":"0.000000","addr":"192.168.19.101:0/2231653745"}]}
header的rbd_lock,这个跟上面通过rbd lock查到的锁命令是同一个
[root@lab101 ceph]# rados -p rbd lock info rbd_header.102376b8b4567 rbd_lock
{"name":"rbd_lock","type":"exclusive","tag":"internal","lockers":[{"name":"client.96943","cookie":"auto 94009656832384","description":"","expiration":"0.000000","addr":"192.168.19.101:0/2231653745"}]}
复现问题
启动一个rbd的kvm，并且装上win server2008
/usr/libexec/qemu-kvm -drive format=raw,file=rbd:rbd/windows-server-8-base-clone -cdrom /home/vm/win2008.iso -m 8192 -vnc :0
这个启动后直接用vnc连接访问即可，然后使用一个循环测试写入工具在虚拟机里面进行循环读写，模拟正常的写入，我使用的是SANergy这个工具，使用循环写模式，可以做成iso，然后上面的-cdrom参数把文件穿透进去
准备一个至少两个物理节点的集群
节点一为mon，节点二的时间同步指向节点一，然后调整一的物理时间往后调整20分钟（也可以往前），这个集群会出现osd闪断的情况
正常情况下，这个时候windows会卡死的，如果没卡死，多操作几遍往后调整时间，目的就是把虚拟机卡死
我的环境通过资源管理器看到没有读写io了，强制停止kvm进程，无法停止就kill -9
我们恢复集群的状态,然后再次检查锁状态
[root@lab101 ceph]# cat /home/vm/checklock.sh
rados -p rbd lock info rbd_object_map.102376b8b4567 rbd_lock
rados -p rbd lock info rbd_header.102376b8b4567 rbd_lock
[root@lab101 ceph]# sh /home/vm/checklock.sh
{"name":"rbd_lock","type":"exclusive","tag":"","lockers":[{"name":"client.96943","cookie":"","description":"","expiration":"0.000000","addr":"192.168.19.101:0/2231653745"}]}{"name":"rbd_lock","type":"exclusive","tag":"internal","lockers":[{"name":"client.96943","cookie":"auto 94009656832384","description":"","expiration":"0.000000","addr":"192.168.19.101:0/2231653745"}]}
可以看到居然还在
我们尝试启动虚拟机出现无法启动的情况
我们尝试删除锁
处理objectmap的锁
[root@lab101 ceph]# rados -p rbd lock break rbd_object_map.102376b8b4567 rbd_lock client.96943
处理header的锁
[root@lab101 ceph]# rados -p rbd lock break rbd_header.102376b8b4567 rbd_lock client.96943
ERROR: failed breaking lock: (2) No such file or directory
error 2: (2) No such file or directory
提示没有，比较奇怪,那尝试拿锁
[root@lab101 ceph]# rados -p rbd lock get rbd_header.102376b8b4567 rbd_lock client.96943
ERROR: failed locking: (16) Device or resource busy
error 16: (16) Device or resource busy
可以看到Device or resource busy 这个一般就是资源占用，无法释放的情况
我们用rbd的命令试下
[root@lab101 ceph]# rbd lock ls rbd/windows-server-8-base-clone
There is 1 exclusive lock on this image.
Locker ID Address
client.96943 auto 94009656832384 192.168.19.101:0/2231653745
[root@lab101 ceph]# rbd lock rm rbd/windows-server-8-base-clone "auto 94009656832384" client.96943
[root@lab101 ceph]# rbd lock ls rbd/windows-server-8-base-clone
可以看到这个是可以删除的
再次检查
[root@lab101 ceph]# sh /home/vm/checklock.sh
{"name":"rbd_lock","type":"exclusive","tag":"","lockers":[]}{"name":"rbd_lock","type":"exclusive","tag":"internal","lockers":[]}[root@lab101 ceph]#
可以看到没有锁了
我们再次尝试启动
产生了新的锁文件了
{"name":"rbd_lock","type":"exclusive","tag":"","lockers":[]}{"name":"rbd_lock","type":"exclusive","tag":"internal","lockers":[]}[root@lab101 ceph]#
[root@lab101 ceph]# sh /home/vm/checklock.sh
{"name":"rbd_lock","type":"exclusive","tag":"","lockers":[{"name":"client.97312","cookie":"","description":"","expiration":"0.000000","addr":"192.168.19.101:0/1322200836"}]}{"name":"rbd_lock","type":"exclusive","tag":"internal","lockers":[{"name":"client.97312","cookie":"auto 94532169500416","description":"","expiration":"0.000000","addr":"192.168.19.101:0/1322200836"}]}
从vnc里面可以看到桌面了
上面的是处理的方法之一，另外的一个方法是
rbd feature disable rbd/windows-server-8-base-clone exclusive-lock, object-map, fast-diff
rbd feature enable rbd/windows-server-8-base-clone exclusive-lock, object-map, fast-diff
建议是通过方法一进行处理，理论上方法二也没什么问题，其它几个属性如果正好需要用到的话，那么关闭后，开启下就行
总结
出问题总会是有原因的，如果我们提前抓到了问题，那么下次再遇到的时候就会从容的多，所以不要放弃解决问题，能够解决的问题都会成为你的经验