互联网服务io异常故障案例

谁动了我的光纤

环境:光纤连接是全冗余链路,多路径软件SDD,操作系统aix5.

          前端小型机PowerHA集群+光纤交换机+DS8000存储

          每个小型机上面两个光纤卡,分别连接到不懂的交换机,链路冗余

描述:

      曾经那么一天下午,机房作业,在光纤交换机配线架为其他服务器跳证光纤线,正常操作中,看是一切那么的风平浪静。10分钟后,突然接到电话说,快看看我们的应用系统数据库其中有一台机器io巨慢,啥情况?果断停工,了解问题现象,梳理情况,马上开始诊断,整个集群只有这么1台有问题,应该不是啥共性所在,登录系统使用工具参考,简单测试io贼慢。哪里出了问题,好像啥也没操作,怎么突然幺蛾子了。

      查看负载,链路,光纤卡,光纤交换机,存储看是一切正常。为啥巨慢呢?

      秉着凡是都有因果的理念去考虑,一定是哪里出了那个问题。咨询梳理到底什么原因导致这种问题。这一段时间这个集群可以说啥都没操作过,唯一做的就是今天跳线了,不能吧,我确认我没有碰到其他口的。

      还是去看一下,看是没啥问题,梳理了一下zone的配置和存储的端口,对,今天跳线的时候距离最近的端口就是存储端hba卡连接线,其中的一个端口就是连接的问题主机,确实没有啥好的办法,因为都是冗余链路,怀着尝试的心情试试插拔一下这个端口,否则应用也受不了啊。重新插拔后,同时观察io链路

和负载,简单测试io。啥情况:io恢复了。

       我的神啊,谁动了我的光纤啊,问题虽然解决了,但是一直不知道原因所在。。。。。。留下一个悬疑。

           问题:是啥情况才会导致这种问题出现呢?

          

参与42

9同行回答

skilljiangskilljiang存储架构师COSCON
看看交换机上连该光纤的端口,是否有大量的CRC报错?无意的触碰会导致链路传输不稳定,影响IO传输效率。显示全部

看看交换机上连该光纤的端口,是否有大量的CRC报错?无意的触碰会导致链路传输不稳定,影响IO传输效率。

收起
轨道交通 · 2016-11-28
浏览2076
zp_ccczp_ccc高级技术主管国内某金融科技公司
这种情况,在交换机上查流量,查porterror,应该会发现问题的。虽然是多路径,但是当一条路径故障,或者不稳定,不同的系统在路径恢复的处理是不同的,有一些系统当路径断开再恢复,系统不会自动恢复这条路径,导致压力都会集中在某条路径或者控制器上,是会拉低性能的。...显示全部

这种情况,在交换机上查流量,查porterror,应该会发现问题的。

虽然是多路径,但是当一条路径故障,或者不稳定,不同的系统在路径恢复的处理是不同的,有一些系统当路径断开再恢复,系统不会自动恢复这条路径,导致压力都会集中在某条路径或者控制器上,是会拉低性能的。

收起
互联网服务 · 2016-11-29
浏览1940
allanceallance系统工程师it
聚合情况下不一定能够保证网速的正常,不同的情况有不同的原因,曾经我们遇到8条线聚合,里面2条线是坏的,导致剩余6条线的丢包率达到了50%,还是需要进行检查后才能正确定位。显示全部

聚合情况下不一定能够保证网速的正常,不同的情况有不同的原因,曾经我们遇到8条线聚合,里面2条线是坏的,导致剩余6条线的丢包率达到了50%,还是需要进行检查后才能正确定位。

收起
互联网服务 · 2016-11-30
浏览1933
1985wen1985wen存储工程师中证信息技术服务有限责任公司
检查光纤交换机的CRC等报错,以前遇到2次类似问题,一次是交换机模块故障,一次是主机hba卡故障显示全部

检查光纤交换机的CRC等报错,以前遇到2次类似问题,一次是交换机模块故障,一次是主机hba卡故障

收起
金融其它 · 2016-11-29
浏览1925
overtopovertop系统工程师互联网公司
你就拉扯、弯折一根光纤线,甚至于无意的其他电源线压到了光纤线上面,都可能影响链路、进而还可能影响业务。显示全部

你就拉扯、弯折一根光纤线,甚至于无意的其他电源线压到了光纤线上面,都可能影响链路、进而还可能影响业务。

收起
互联网服务 · 2016-11-30
浏览1819
myciciymyciciyIT顾问某金融科技公司
ls几位都是办案的高手显示全部

ls几位都是办案的高手

收起
银行 · 2016-12-01
浏览1821
老么老么系统工程师mbi
看交换机上enc的报错比较好显示全部

看交换机上enc的报错比较好

收起
互联网服务 · 2016-11-28
浏览1788
yangjianxvyangjianxv部门总经理成方金融科技有限公司
有时机房风大 甚至能把光纤吹的不稳定,哈哈显示全部

有时机房风大 甚至能把光纤吹的不稳定,哈哈

收起
银行 · 2016-11-28
浏览1823
yujin2010goodyujin2010good系统工程师大型零售巨头
董老师,请职业写手了,嘿嘿显示全部

董老师,请职业写手了,嘿嘿

收起
互联网服务 · 2016-11-28
浏览1818

提问者

powertiandi
系统架构师李宁(中国)体育用品有限公司
擅长领域: 存储服务器灾备

问题来自

相关问题

问题状态

  • 发布时间:2016-11-28
  • 关注会员:11 人
  • 问题浏览:8315
  • 最近回答:2016-12-01
  • X社区推广