VMware虚拟机响应异常故障排查

某日，根据运维同事反映，在VMware虚拟化平台上的某系统出现严重的延迟现象，在通过操作系统登陆后，进行操作的响应时间特别长，且较之前有明显的卡顿现象。针对此问题，针对该虚拟机的运行情况进行了分析。

首先，想到的是排查该虚拟机所在的Esxi主机的性能，发现该主机CPU利用率在20%左右，内存利用率在40%左右，IO读写延迟不超过1ms，且该Esxi主机上面的其他虚拟机都运行正常，所以基本排除了该物理主机的问题。

接着，便在Vcenter中重点对该虚拟机的配置及日志进行检查，通过登陆Vcenter管理控制台查看该虚拟机的配置，发现该虚拟机的磁盘文件下面存在大量的*-delta.vmdk文件，不同于其他普通的*.vmdk文件。初步将该问题定位于此，并将该问题发送给VMware工程师，经过分析，确认是过多的delta文件直接导致了系统响应异常。

那么为什么会产生这么多delta文件？一般而言，虚拟机快照会产生delta文件，VDP备份软件也会在备份之前进行虚拟机快照从而产生delta文件。而当客户操作系统内执行一个磁盘操作时，磁盘I / O重新解析磁盘文件链中的每个delta文件。这将产生额外的主机磁盘开销，从而导致性能问题。而该虚拟机的应用系统因平时变更频繁，所以运维同时在变更前都要执行快照，且长时间没有将快照删除。

经过该问题的出现，日后在VMware化平台的维护中特别注意将重复快照的删除，否则时间久了，且存在大量的快照会影响虚拟机的性能。同时，要定期通过SSH登陆到ESXi服务器，查找是否有delta文件产生。如果文件数量过多的话可能导致更为严重的无法连接的错误，需要及时解决。