故障現(xiàn)象

某運(yùn)營(yíng)商TECS OpenStack資源池，在當(dāng)前告警中顯示“時(shí)鐘同步失敗”，以10分鐘整數(shù)倍為間隔上報(bào)“時(shí)間同步失敗”告警，持續(xù)時(shí)間30秒-1分鐘不等。

查看告警詳情為同一臺(tái)控制節(jié)點(diǎn)虛擬機(jī)，如圖1所示。

故障分析

分析產(chǎn)生該告警的原因：

時(shí)間同步失敗告警可能是由于外部時(shí)鐘異常導(dǎo)致，需要檢查。

相關(guān)告警上報(bào)周期性比較強(qiáng)，可能是由某些定時(shí)任務(wù)觸發(fā)。

具體分析過(guò)程如下：

使用chronyc sources -v命令，檢查現(xiàn)場(chǎng)時(shí)鐘源，未發(fā)現(xiàn)異常，如下圖所示。

尋找一臺(tái)正常的控制節(jié)點(diǎn)虛機(jī)，使用chronyc sources -v命令，檢查對(duì)比，未發(fā)現(xiàn)異常，如下圖所示。

執(zhí)行ping命令，檢測(cè)時(shí)鐘源，未發(fā)現(xiàn)丟包。

外部時(shí)鐘正常，時(shí)鐘同步正常，結(jié)合告警出現(xiàn)周期性比較強(qiáng)、告警持續(xù)時(shí)間較短的特點(diǎn)，分析可能是因?yàn)槎〞r(shí)任務(wù)觸發(fā)了控制節(jié)點(diǎn)虛機(jī)的時(shí)間修改。

初步推測(cè)是宿主機(jī)開(kāi)啟了qga服務(wù)，控制節(jié)點(diǎn)虛機(jī)會(huì)每10分鐘向宿主機(jī)同步一次時(shí)間。

執(zhí)行virsh qemu-agent-command --pretty controllervm '{"execute":"guest-get -reverse-command-status"}'|grep minute -A 1 |grep enabled命令，查看現(xiàn)場(chǎng)三個(gè)控制節(jié)點(diǎn)虛機(jī)輸出結(jié)果，如下圖所示。

由上圖可見(jiàn)，只有異常節(jié)點(diǎn)輸出結(jié)果是“enabled”: true，說(shuō)明該節(jié)點(diǎn)開(kāi)啟了qga。

執(zhí)行virsh dumpxml 1|grep -A5 "channel type"命令，發(fā)現(xiàn)同步周期為10分鐘，與告警周期一致。因此判斷該問(wèn)題是由于虛機(jī)除了與外部時(shí)鐘源同步外，還定時(shí)向宿主機(jī)同步時(shí)間，導(dǎo)致告警上報(bào)，如下圖所示。

故障處理

臨時(shí)解決方案：通過(guò)在宿主機(jī)執(zhí)行virsh qemu-agent-command --pretty controllervm '{"execute":"guest-set-reverse-command-status", "arguments": {"command": "host-get-time", "enabled":false}}' 命令，臨時(shí)關(guān)閉qga服務(wù)。但是在重啟虛機(jī)中qga服務(wù)會(huì)恢復(fù)。

正式解決方案：執(zhí)行virsh dumpxml controllervm > controllervm.xml命令，修改xml文件中qga的配置，將interval的值改為never，或者改成和其他節(jié)點(diǎn)一樣，關(guān)閉虛機(jī)。執(zhí)行virsh create controllervm.xml命令，重新創(chuàng)建虛機(jī)。

相關(guān)操作命令：

a. 判斷是否需要qga服務(wù)，如果不需要，可以執(zhí)行如下命令，在不關(guān)閉虛機(jī)的前提下，在虛機(jī)中關(guān)閉qga服務(wù)。

systemctl stop qga.service，systemctl disalbe qga.service

b. 執(zhí)行如下命令，確認(rèn)節(jié)點(diǎn)是否有配置qga服務(wù)。

virsh dumpxml domain |grep qemu.guest_agent

總結(jié)：時(shí)鐘作為業(yè)務(wù)運(yùn)行和命令的時(shí)間戳，在運(yùn)維中穩(wěn)定至關(guān)重要，該類(lèi)問(wèn)題需要第一時(shí)間重點(diǎn)分析處理，避免時(shí)鐘跳變導(dǎo)致集群和業(yè)務(wù)異常。