首先,我认为光从IO的繁忙程度来看,不能说明问题。
第一,如果你的磁盘繁忙程度总是90%,那么看看IO队列是否有等待,平均的读写程度如何?如果IO队列没有等待,平均读写很高,那就要看看业务这几天是否有频繁的IO。
第二,如果你的磁盘IO队列也总会有等待,业务确认也没有突发的IO读写,那么下一步要看的是存储的IO队列是否也有等待,如果没有,那么问题出在操作系统层面或者是光纤交换这个层面,看看链路,端口,操作系统日志是否有异常?
第三,如果存储IO同样存在等待,那么基本可以认定存储肯定有瓶颈了。先排除硬件故障,比如缓存,存储端的链路端口状态,是否有抖动,有没有坏盘。然后再看软件层面,系统后台有没有类似migration的操作,RAID,卷的划分方式是否有问题等等。