linux环境下，怎么排查os中系统负载过高的原因瓶颈？

针对该问题，以下是一些相关命令的使用方法。请自行辨别使用。

vmstat

vmstat用于报告虚拟内存统计信息，以及关于进程、内存、分页、块IO、陷阱和CPU活动的信息。
场景：检查内存和CPU使用情况。

vmstat 1

这个命令会每秒输出一次系统状态，包括procs（进程）、memory（内存）、swap（交换空间）、io（块设备）、system（系统）和cpu（CPU）的状态。
排查过程：

• 观察r（等待运行时间的进程数）和b（不可中断睡眠的进程数）列，以了解进程状态。
• 观察cs（上下文切换次数）列，以判断系统是否频繁进行上下文切换。

• 观察us（用户时间）和sy（系统时间）列，以判断CPU时间是如何分配的。

  mpstat

  mpstat是vmstat的补充，用于报告与CPU的一些详细信息。
  场景：分析特定CPU的使用情况。

  mpstat -P ALL 1

  这个命令会每秒输出所有CPU核心的使用情况。
  排查过程：

• 观察每个CPU核心的%usr（用户时间百分比）和%sys（系统时间百分比），以判断哪些核心负载较高。

• 如果CPU使用率不平衡，可能需要检查调度器设置或是否存在单线程应用程序。

  iostat

  iostat用于监控系统输入/输出设备和CPU的使用情况。
  场景：检查磁盘I/O性能。

  iostat -x 1

  这个命令会每秒输出一次详细的磁盘I/O统计信息。
  排查过程：

• 观察avgqu-sz（发送给设备的平均请求数）和await（每个I/O请求的平均等待时间），以判断I/O队列长度和响应时间。

• 观察svctm（平均服务时间）和util（设备利用率），以判断磁盘是否饱和。

  iotop

  iotop类似于top，但它专注于I/O使用情况，显示实时磁盘I/O统计信息。
  场景：定位导致磁盘I/O高的进程。

  iotop

  排查过程：

• 观察I/O速率列，以识别哪些进程正在执行大量的磁盘读写操作。

• 使用-p参数跟踪特定进程的I/O活动。

  perf

  perf是Linux的性能分析工具，它可以分析CPU性能问题。
  场景：分析CPU性能瓶颈。

  perf top

  这个命令会显示占用CPU时间最多的函数或程序。
  排查过程：

• 观察哪个函数或程序占用了最多的CPU时间。

• 使用perf record和perf report进行更深入的分析。

  top

  top提供了一个动态实时地系统进程视图，它可以用来监控系统的整体性能。
  场景：监控系统总体性能。

  top

  排查过程：

• 观察CPU使用率和内存使用情况，识别占用资源最多的进程。
• 使用shift+m按内存使用排序，shift+p按CPU使用排序，以快速定位问题进程。
  在使用这些工具时，关键是要理解每个指标的含义，并观察它们随时间的变化。例如，如果iostat显示磁盘利用率（util）接近100%，那么可能存在磁盘I/O瓶颈。如果mpstat显示某个CPU核心的使用率远高于其他核心，可能需要检查是否有进程绑定到了特定的核心上。通过这些工具的输出，可以逐步缩小问题范围，并采取相应的优化措施。