内存故障看云服务优化管理

随着云服务管理不断深入，云优化已逐渐凸显，本文将从服务器内存故障着眼云服务优化管理。

1. 告警现象

（1） 内存在 22 点 11 分触发可更正的 Ecc 故障；

（2） 内存在 22 点 32 分触发不可更正的 ECC 故障；

（3） 服务器于 22 点 39 分发生重启。

2.告警处理一般流程

（1） 服务器配置 snmp 告警监控；

（2） 自动触发告警形成告警工单；

（3） 工单流转运维工程师处理；运维工程师确认故障情况，确认迁移；

（4） 虚拟机迁移；

（5） 迁移后确认虚拟机业务状态；

（6） 故障硬件维修，恢复原节点状态。

3.故障情况分析

（1） 内存基本知识

内存 DDRSDRAM 简称 DDR ，双倍速率 SDRAM 。目前内存有 DDR4 、 DDR5 等。

RAS 全称为： Reliability Availability Serviceability 。作用在于确保整个系统尽可能长期可靠的运行而不下线，并且具备足够强大的容错机制。 RAS 主要处理的方向有： cpu 、内存、 IO/PCLe 上错误、芯片组的错误及平台硬件错误。

内存 RAS 方案：纠错码 ECC 存储器，通过为实际数据生成 ECC SECDED （单位纠错和双比特错误检测）代码，并将其存储在额外的 DRAM 存储中， DDR 控制器可以纠正单位错误并检测从 DRAM 接受的数据上的双比特错误。具体检查过程为：

1） ECC 代码由控制器根据实际 WR 写入数据生成，存储器存储 WR 数据和 ECC 代码；

2 ）在 RD 读操作期间，控制器从内存中读取数据和相应的 ECC 代码。并将其接收到 ECC 代码进行比较；

3 ）如果存在匹配项，则未发生错误。如果存在不匹配， ECC SECDED 机制允许控制器纠正任何单位错误并检测双比特错误。

通过上述机制，以便在出现内存错误时延长整体系统正常运行时间。如果没有 RAS 功能，系统可能会因内存错误而奔溃。 RAS 功能允许系统在出现可纠正的错误时继续运行，同时记录不可纠正的错误详细信息来供将来调试。

RAS 纠错当每 24 小时不超过 10 个错误时，即在阈值范围内，服务器可正常运行，当超过阈值，出现不可纠正的 ECC 错误，导致系统出现重启进行纠正。

（2） 故障原因分析

由上基本信息，单个云服务器运行多个虚拟机，在运行过程中出现可更正的 ECC 故障。因单物理机虚拟机业务依旧运行，并且超过最大错误阈值，导致触发不可更正的 ECC 故障，最终导致物理节触发服务器重启来修正内存错误。

4.云优化分析

目前云基础环境不再仅仅是私有云单区域，更多的是多区域，区域下管理成千虚拟机及物理服务器。从上述告警触发时间可以看出，触发告警到服务器重启有约 27 分钟的处理时间，即在该段时间内须要完成对业务虚拟机的迁移。

分解上述处理过程，重要过程可分解如下：

1） 告警触发

告警触发后，可通过工单自动转发，到运维工程师。

该环节需要保证物理服务器 BMC 管理台时间准确，并在触发告警后，尽可能缩短告警到运维工程师的时间。

2） 迁移判断

告警触发后，需要判断告警情况，并确认物理服务器上虚拟机业务情况，确认可迁移。该部分需要平时对业务有一定的了解，对一般情况可快速做出判断。
进一步，可对一般情况进行自动判断，减少该环节人工处理时间，自动识别后进行迁移。

3） 迁移

确认迁移后，该部分涉及迁移命令执行及迁移过程。迁移过程会随虚拟机的内存等虚拟机自有特性有所差别。另外，还需要预留部分可用空间，完成此类故障迁移。

迁移技术是决定此处迁移的核心点，好的迁移技术可以尽可能减少丢包，保证业务无感知，并可影响虚拟机迁移时间。

另外，要考虑单物理服务器上虚拟机平均分布个数，保证整体平台的资源使用情况及利用率。

4） 状态确认

平台层面可对迁移后的虚拟机进行基础判断，保证操作系统、网络的正常。此处需要和业务进行沟通确保业务正常。同样可对不同重要程度的业务进行分类管理，分散单物理机故障风险。

综上所述，在云平台不断扩大的情况下，对迁移判断及迁移进行可自动化，缩短故障处理时间，可尽可能的避免故障的发生。
云优化是一个逐渐改善的过程，只有通过不断的发现优化，整个云平台才会越来越完善。

本文内存基本知识参考：
1.DDR 存储器中的纠错码 [https://blog.csdn.net/m0_73549240/article/details/130285234]
2.RAS 简介 [https://zhuanlan.zhihu.com/p/340605298]
3.针对英特尔服务器主板的可纠正 / 无法纠正的 ECC 内存错误的基本诊断https://www.intel.cn/content/www/cn/zh/support/articles/000024007/server-products.html