某一天用户打电话过来说,业务突然中断了,让我们赶紧过来帮忙处理一下。到了现场用户那里乱成一团,主机,网络,存储,数据库,业务上都在检查各自的问题。经查发现是RAC挂了,DBA通过检查日志发现是脑裂导致的,究其原因网络心跳异常导致的,网络管理员检查网络也没有问题。最后问到近期有没有做过变更,运维管理员说:应集团和上级指示要求风险管理部昨天下发安全风险整改文件,要求我们实施部署了安全加固。昨天晚上在我们的生产环境进行了安全加固。一看里面的内容发现,有一条最为关键,AIX 进行了IP Security 。就是这样这个安全策略才导致RAC心跳通讯中断,发生了脑裂,进而业务不能正常运行。最后赶紧的取消了这个策略,业务正常运行。
收起