HPC自身的调优方面,怎么考虑采用更高速的网络互联、故障检测机制、作业调度策略等方式提升吞吐和效率?

HPC 可能产生瓶颈的地方很多，包括 CPU ，内存，本地磁盘，网络存储，计算网络，操作系统等，通过 PBS 可以进行相关资源的使用和调用监控，了解当前和历史状态，进行优化。具体优化可以从以下四个方面开始：

1. 采用更高速的网络互联： 选用高带宽的 InfiniBand 网络如200G，实现大量数据的并行处理，提升 HPC 网络环境的运行效率和性能表现 。
2. 采用高可用性存储系统：选择具备自动故障检测与快速恢复重建能力的高可用性存储系统，提高数据重构的速度和系统的可用性。
3. 优化作业调度策略：合理的作业调度策略可以显著提升 HPC 系统的吞吐和效率。基于用户定义的组织结构树来实现作业的优先级动态计算，有助于实现更加公平和高效的资源分配
   4.完善故障检测机制：完善故障检测和自动恢复机制，实现作业执行的失败检测和失败作业的自动重新提交，减少对系统的影响。

HPC集群的调优，除了使用infiniband高速网络，集群调度策略外，也可以从其他方面进行优化，如：集群高可用架构的设计，做好故障检测和冗余设计，自动恢复等一些高可用的机制；采用并行文件系统，如GPFS，GFS等，提高IO速度等；对OS内核进行调优，调整内核参数、优化中断处理、减少上下文切换、TCP/IP网络参数调整等；利用GPU进行加速运算，可以显著提高计算密集型应用程序的性能。也可以采用内存分配和释放的策略，以减少内存碎片和优化内存利用率。使用内存层次结构优化技术，如使用高速缓存、使用非易失性内存等。
使用GPU编程模型，如CUDA、OpenCL等，将计算任务转移到GPU上进行并行计算。

1、网络方面，是很关键的，我们是采用InfiniBand ，这样可以加速数据传输和通信，降低通信延迟。当然你也可以在硬件层使用RDMA结构，降低CPU负载和网络传输延迟 。
2、故障检测机制方面，上层HPC系统可以通过监控系统、日志系统，利用K8S集群的特性进行。设置调度资源使用率监控、设置状态检测，比如 livness probe, readiness probe等机制。
3、作业调度策略方面，如果是使用的K8S，则可以打些标签，定义一下priority权重，确保高优先级任务能够及时得到执行，而低优先级任务则在资源充裕时执行，以最大化集群资源的利用率。目前HPC有一般有着高效的作业调度系统，如Slurm、PBS Pro、Grid Engine等，我们就是用的PBS Pro，可根据任务的特性和优先级进行合理调度。