如何发现和解决关键的存储问题？

规模扩大和业务扩张需要关注存储节点资源的消耗，除了CPU、MEM、Disk io util、NIC throughout，还需要关注FD文件句柄数、进程和线程数、端口占用数等。此外慢盘、慢节点也更容易出现，需要人工处理或者实现自动化。

规模扩大和业务扩张是一个过程，在这个过程中建议加强对网络和磁盘IO这些容易出现问题的点的监控并进行历史趋势分析，从趋势中发现性能容量的瓶颈，并尽量将瓶颈提前消灭掉。

不可预知的问题，要解决岂不是先知。

（1）全方位的监控是解决问题的问题的其中之一方法，thanos+Prometheus+grafana能同时监控很多kubenetes集群；
（2）可靠高速的网络，大部分ceph问题都是由网络引起的，ceph性能不仅靠磁盘性能，更靠高速的网络。
（3）kubenetes的自愈功能，kubenetes考虑了一部分的自愈功能

加强日常的巡检