linux环境下，怎么排查os中系统负载过高的原因瓶颈？

在Linux环境下排查系统负载过高的原因和瓶颈，可以采取以下步骤：

1. 使用top或htop命令观察系统整体负载情况。查看load average的值，分别表示系统在1分钟、5分钟和15分钟内的平均负载。如果负载值超过CPU核心数量的70-80%，表示系统负载过高。
2. 使用top或htop命令查看CPU占用率。观察哪些进程占用了大量的CPU资源。如果有某个进程持续高CPU占用，可能是引起负载过高的原因之一。
3. 使用free命令查看系统内存使用情况。观察内存的使用量和剩余量。如果内存使用量接近或超过物理内存容量，可能导致系统开始使用交换空间（swap），进而影响系统性能。
4. 使用iotop命令查看磁盘I/O使用情况。观察磁盘读写速率和占用率。如果磁盘I/O负载过高，可能导致系统响应变慢。
5. 使用netstat命令或类似工具查看网络连接情况。观察是否存在大量的网络连接或网络流量。如果网络连接过多或网络流量过大，可能影响系统的性能。
6. 检查日志文件。查看系统日志文件（如/var/log/messages、/var/log/syslog）以及应用程序日志，寻找任何异常或错误信息，可能有助于确定导致负载过高的问题。
7. 使用perf或strace等工具进行进程级别的性能分析。这些工具可以帮助你跟踪进程的系统调用、函数调用和性能瓶颈，进一步确定导致负载过高的具体原因。
8. 检查系统的配置和参数设置。审查相关的配置文件（如/etc/sysctl.conf、/etc/security/limits.conf）和参数设置，确保系统的设置与实际需求相匹配，并进行适当的调整。

综合上述步骤，可以帮助你定位系统负载过高的原因和瓶颈，并进一步采取相应的措施来优化系统性能。

针对该问题，以下是一些相关命令的使用方法。请自行辨别使用。

vmstat

vmstat用于报告虚拟内存统计信息，以及关于进程、内存、分页、块IO、陷阱和CPU活动的信息。
场景：检查内存和CPU使用情况。

vmstat 1

这个命令会每秒输出一次系统状态，包括procs（进程）、memory（内存）、swap（交换空间）、io（块设备）、system（系统）和cpu（CPU）的状态。
排查过程：

• 观察r（等待运行时间的进程数）和b（不可中断睡眠的进程数）列，以了解进程状态。
• 观察cs（上下文切换次数）列，以判断系统是否频繁进行上下文切换。

• 观察us（用户时间）和sy（系统时间）列，以判断CPU时间是如何分配的。

  mpstat

  mpstat是vmstat的补充，用于报告与CPU的一些详细信息。
  场景：分析特定CPU的使用情况。

  mpstat -P ALL 1

  这个命令会每秒输出所有CPU核心的使用情况。
  排查过程：

• 观察每个CPU核心的%usr（用户时间百分比）和%sys（系统时间百分比），以判断哪些核心负载较高。

• 如果CPU使用率不平衡，可能需要检查调度器设置或是否存在单线程应用程序。

  iostat

  iostat用于监控系统输入/输出设备和CPU的使用情况。
  场景：检查磁盘I/O性能。

  iostat -x 1

  这个命令会每秒输出一次详细的磁盘I/O统计信息。
  排查过程：

• 观察avgqu-sz（发送给设备的平均请求数）和await（每个I/O请求的平均等待时间），以判断I/O队列长度和响应时间。

• 观察svctm（平均服务时间）和util（设备利用率），以判断磁盘是否饱和。

  iotop

  iotop类似于top，但它专注于I/O使用情况，显示实时磁盘I/O统计信息。
  场景：定位导致磁盘I/O高的进程。

  iotop

  排查过程：

• 观察I/O速率列，以识别哪些进程正在执行大量的磁盘读写操作。

• 使用-p参数跟踪特定进程的I/O活动。

  perf

  perf是Linux的性能分析工具，它可以分析CPU性能问题。
  场景：分析CPU性能瓶颈。

  perf top

  这个命令会显示占用CPU时间最多的函数或程序。
  排查过程：

• 观察哪个函数或程序占用了最多的CPU时间。

• 使用perf record和perf report进行更深入的分析。

  top

  top提供了一个动态实时地系统进程视图，它可以用来监控系统的整体性能。
  场景：监控系统总体性能。

  top

  排查过程：

• 观察CPU使用率和内存使用情况，识别占用资源最多的进程。
• 使用shift+m按内存使用排序，shift+p按CPU使用排序，以快速定位问题进程。
  在使用这些工具时，关键是要理解每个指标的含义，并观察它们随时间的变化。例如，如果iostat显示磁盘利用率（util）接近100%，那么可能存在磁盘I/O瓶颈。如果mpstat显示某个CPU核心的使用率远高于其他核心，可能需要检查是否有进程绑定到了特定的核心上。通过这些工具的输出，可以逐步缩小问题范围，并采取相应的优化措施。