政府机关网卡io万兆

万兆网卡使用后I/O的速率降了非常大的

AIX 6100-06-04-1112
storage:华三IP存储
问题:之前使用的是千兆的网卡,最高的读写大概在70M左右。更换个了万兆的网卡,现在变成读写的速率只有1M多了,不知道问题出在哪,万兆的网卡的口是光口的。
root@P550A2:/bak1/patch>lsdev -Cc adapter
ent0    Available 05-00    4-Port 10/100/1000 Base-TX PCI-Express Adapter (14106803)
ent1    Available 05-01    4-Port 10/100/1000 Base-TX PCI-Express Adapter (14106803)
ent2    Available 06-00    4-Port 10/100/1000 Base-TX PCI-Express Adapter (14106803)
ent3    Available 06-01    4-Port 10/100/1000 Base-TX PCI-Express Adapter (14106803)
ent4    Available 0A-00    4-Port 10/100/1000 Base-TX PCI-Express Adapter (14106803)
ent5    Available 0A-01    4-Port 10/100/1000 Base-TX PCI-Express Adapter (14106803)
ent6    Available 0B-00    4-Port 10/100/1000 Base-TX PCI-Express Adapter (14106803)
ent7    Available 0B-01    4-Port 10/100/1000 Base-TX PCI-Express Adapter (14106803)
ent8    Available 0E-00-00 10 Gigabit Ethernet Adapter (ct3)
fcs0    Available 03-00    4Gb FC PCI Express Adapter (df1000fe)
fcs1    Available 03-01    4Gb FC PCI Express Adapter (df1000fe)
hba0    Available 0E-00    10 Gigabit Ethernet-SR PCI-Express Host Bus Adapter (2514300014108c03)
sa0     Available 0D-00    4 Port Async EIA-232 PCIe Adapter
sissas0 Available 02-08    PCI-X266 Ext Dual-x4 3Gb SAS Adapter
vsa0    Available          LPAR Virtual Serial Adapter
root@P550A2:/bak1/patch>lsattr -El ent8
alt_addr        0x000000000000 Alternate ethernet address                     True
chksum_offload  yes            Enable transmit and receive checksum           True
delay_open      no             Enable delay of open until link state is known True
flow_ctrl       yes            Enable transmit and receive flow control       True
intr_coalesce   5              Receive interrupt delay in microseconds        True
jumbo_frames    no             Transmit/receive jumbo frames                  True
large_receive   yes            Enable receive TCP segment aggregation         True
large_send      yes            Enable transmit TCP segmentation offload       True
rdma_enabled    no             Enable RDMA support                            True
receive_chain   16             Receive packet coalesce(chain) count           True
receive_q_elem  2048           Number of elements per receive queue           True
transmit_chain  8              Transmit packet coalesce(chain) count          True
transmit_q_elem 1024           Number of elements per transmit queue          True
use_alt_addr    no             Enable alternate ethernet address              True

root@P550A2:/bak1/patch>no -a
                 arpqsize = 12
               arpt_killc = 20
              arptab_bsiz = 7
                arptab_nb = 149
                bcastping = 0
      clean_partial_conns = 0
                 delayack = 0
            delayackports = {}
         dgd_packets_lost = 3
            dgd_ping_time = 5
           dgd_retry_time = 5
       directed_broadcast = 0
                 fasttimo = 200
        icmp6_errmsg_rate = 10
          icmpaddressmask = 0
ie5_old_multicast_mapping = 0
                   ifsize = 256
           igmpv2_deliver = 0
               ip6_defttl = 64
                ip6_prune = 1
            ip6forwarding = 0
       ip6srcrouteforward = 1
       ip_ifdelete_notify = 0
                 ip_nfrag = 200
             ipforwarding = 0
                ipfragttl = 2
        ipignoreredirects = 0
                ipqmaxlen = 512
          ipsendredirects = 1
        ipsrcrouteforward = 1
           ipsrcrouterecv = 0
           ipsrcroutesend = 1
          llsleep_timeout = 3
                  lo_perf = 1
                lowthresh = 90
                 main_if6 = 0
               main_site6 = 0
                 maxnip6q = 20
                   maxttl = 255
                medthresh = 95
               mpr_policy = 1
              multi_homed = 1
                nbc_limit = 3014656
            nbc_max_cache = 131072
            nbc_min_cache = 1
         nbc_ofile_hashsz = 12841
                 nbc_pseg = 0
           nbc_pseg_limit = 6029312
           ndd_event_name = {all}
        ndd_event_tracing = 0
            ndp_mmaxtries = 3
            ndp_umaxtries = 3
                 ndpqsize = 50
                ndpt_down = 3
                ndpt_keep = 120
               ndpt_probe = 5
           ndpt_reachable = 30
             ndpt_retrans = 1
             net_buf_size = {all}
             net_buf_type = {all}
     net_malloc_frag_mask = {0}
        netm_page_promote = 1
           nonlocsrcroute = 0
                 nstrpush = 8
              passive_dgd = 0
         pmtu_default_age = 10
              pmtu_expire = 10
pmtu_rediscover_interval = 30
              poolbuckets = 2
              psebufcalls = 20
                 psecache = 1
                psetimers = 20
           rfc1122addrchk = 0
                  rfc1323 = 1
                  rfc2414 = 1
             route_expire = 1
          routerevalidate = 0
     rtentry_lock_complex = 0
                 rto_high = 64
               rto_length = 13
                rto_limit = 7
                  rto_low = 1
                     sack = 0
                   sb_max = 1048576
       send_file_duration = 300
              site6_index = 0
               sockthresh = 85
                  sodebug = 0
              sodebug_env = 0
                somaxconn = 1024
                 strctlsz = 1024
                 strmsgsz = 0
                strthresh = 85
               strturncnt = 15
          subnetsarelocal = 1
       tcp_bad_port_limit = 0
                  tcp_ecn = 0
       tcp_ephemeral_high = 65535
        tcp_ephemeral_low = 32768
             tcp_finwait2 = 1200
           tcp_icmpsecure = 0
          tcp_init_window = 0
    tcp_inpcb_hashtab_siz = 24499
              tcp_keepcnt = 8
             tcp_keepidle = 14400
             tcp_keepinit = 150
            tcp_keepintvl = 150
     tcp_limited_transmit = 1
              tcp_low_rto = 0
             tcp_maxburst = 0
              tcp_mssdflt = 1460
          tcp_nagle_limit = 65535
        tcp_nagleoverride = 0
               tcp_ndebug = 100
              tcp_newreno = 1
           tcp_nodelayack = 0
        tcp_pmtu_discover = 1
            tcp_recvspace = 32768
            tcp_sendspace = 32768
            tcp_tcpsecure = 0
             tcp_timewait = 1
                  tcp_ttl = 60
           tcprexmtthresh = 3
             tcptr_enable = 0
                  thewall = 12058624
         timer_wheel_tick = 0
                tn_filter = 1
       udp_bad_port_limit = 0
       udp_ephemeral_high = 65535
        udp_ephemeral_low = 32768
    udp_inpcb_hashtab_siz = 24499
        udp_pmtu_discover = 1
            udp_recvspace = 655360
            udp_sendspace = 65536
                  udp_ttl = 30
                 udpcksum = 1
           use_sndbufpool = 1
root@P550A2:/bak1/patch>sar -d 1 10
AIX P550A2 1 6 00C3E7454C00    07/20/11
System configuration: lcpu=12 drives=7  mode=Capped
14:39:55     device    %busy    avque    r+w/s    Kbs/s   avwait   avserv
14:39:56     hdisk0      0      0.0        0       15      0.0     11.8
             hdisk1      0      0.0        0       15      0.0      6.6
             hdisk6     69      2.1        3       15      0.0    124.2
             hdisk4     59      1.8        1       79      0.0    312.3
             hdisk5     99      2.4       10      142    563.8    177.8
             hdisk9      0      0.0        0        0      0.0      0.0
             hdisk7     59      1.8        0       15      0.0    209.6

14:39:57     hdisk0      0      0.0        0        0      0.0      0.0
             hdisk1      0      0.0        0        0      0.0      0.0
             hdisk6     99      3.2        1      127    104.4   1135.3
             hdisk4     99      2.7        0       63      0.0   1239.6
             hdisk5     99      3.6        0        3    233.6   1235.5
             hdisk9      0      0.0        0        0      0.0      0.0
             hdisk7     99      2.2        1      127      0.0    724.3

14:39:58     hdisk0      0      0.0        0        0      0.0      0.0
             hdisk1      0      0.0        0        0      0.0      0.0
             hdisk6    100      2.6        1       16    208.4   1541.3
             hdisk4    100      2.3        1        8    209.2   1956.9
             hdisk5    100      3.4        2      128    208.5   1958.4
             hdisk9      0      0.0        0        0      0.0      0.0
             hdisk7    100      2.2        1       64    209.6   2368.4

14:39:59     hdisk0      0      0.0        0        0      0.0      0.0
             hdisk1      0      0.0        0        0      0.0      0.0
             hdisk6    100      2.5        1       64   1033.5   2174.1
             hdisk4    100      2.0        2      116    827.5   2341.2
             hdisk5    100      3.2        0        0      0.0      0.0
             hdisk9      0      0.0        0        0      0.0      0.0
             hdisk7    100      1.5        2      128    712.3   2169.2

14:40:00     hdisk0      0      0.0        3       15      0.0      2.9
             hdisk1      0      0.0        3       15      0.0      3.7
             hdisk6     99      2.4        0       63   1445.9   3109.0
             hdisk4     99      1.7        0        0      0.0      0.0
             hdisk5     99      2.9        0       15   1443.6   2508.9
             hdisk9      0      0.0        0        0      0.0      0.0
             hdisk7     99      1.3        0        0      0.0      0.0

14:40:01     hdisk0      0      0.0        0        0      0.0      0.0
             hdisk1      0      0.0        0        0      0.0      0.0
             hdisk6     99      1.8        0       63   1725.7   3017.6
             hdisk4     99      1.5        0       63   2142.0   3013.0
             hdisk5     99      2.7        1       71   2166.9   3012.5
             hdisk9      0      0.0        0        0      0.0      0.0
             hdisk7     99      1.3        0       31   2554.0   2809.5

14:40:02     hdisk0      0      0.0        0        0      0.0      0.0
             hdisk1      0      0.0        0        0      0.0      0.0
             hdisk6    100      1.6        1       32   3183.5   2973.4
             hdisk4    100      1.1        1       32   2759.6   3014.6
             hdisk5    100      2.5        0        0      0.0      0.0
             hdisk9      0      0.0        0        0      0.0      0.0
             hdisk7    100      0.6        2      128   2843.5   3094.7

14:40:03     hdisk0      0      0.0        0        0      0.0      0.0
             hdisk1      0      0.0        0        0      0.0      0.0
             hdisk6     99      1.1        1      127   4611.1   2607.4
             hdisk4     99      0.7        0       63   3503.7   3210.1
             hdisk5     99      2.3        1       95   4450.4   2805.6
             hdisk9      0      0.0        0        0      0.0      0.0
             hdisk7     99      0.3        0        0      0.0      0.0

14:40:04     hdisk0      0      0.0        0        0      0.0      0.0
             hdisk1      0      0.0        0        0      0.0      0.0
             hdisk6    100      0.8        0        0      0.0      0.0
             hdisk4    100      0.6        1       64   5129.0   2797.1
             hdisk5    100      1.7        1       32   5362.3   2590.9
             hdisk9      0      0.0        0        0      0.0      0.0
             hdisk7    100      0.2        2      128   5542.2   2871.6

14:40:05     hdisk0      0      0.0        0        0      0.0      0.0
             hdisk1      0      0.0        0        0      0.0      0.0
             hdisk6     98      0.6        0       63   6130.9   3179.8
             hdisk4     98      0.4        0       63   5748.3   3180.2
             hdisk5     98      1.5        0        0      0.0      0.0
             hdisk9      0      0.0        0        0      0.0      0.0
             hdisk7     98      0.0        0       63   6105.8   2801.2

Average      hdisk0      0      0.0        0        3      0.0      1.5
             hdisk1      0      0.0        0        3      0.0      1.0
             hdisk6     96      1.9        0       57   1844.3   1986.2
             hdisk4     95      1.5        0       55   2031.9   2106.5
             hdisk5     99      2.6        1       48   1442.9   1429.0
             hdisk9      0      0.0        0        0      0.0      0.0
             hdisk7     95      1.1        0       68   1796.7   1704.9

topas.JPG

参与29

26同行回答

liu2006liu2006  软件开发工程师 , crc
从70M速度降到1M多业务应该影响很大的吧显示全部
从70M速度降到1M多业务应该影响很大的吧收起
互联网服务 · 2011-07-21
浏览6549
qihuoqihuo  信息技术经理 , 山东天普阳光集团
是不是驱动的问题?显示全部
是不是驱动的问题?收起
工业制造其它 · 2011-07-21
浏览5375
czb1984czb1984  项目经理 , 浙江省公众信息产业有限公司
随时关注事件动态显示全部
随时关注事件动态收起
系统集成 · 2011-07-21
浏览5332
feiyangcxwfeiyangcxw  系统运维工程师 , IBM
errpt没有报错,今天去把万兆的网卡直接和存储接,用dd命令测试,然后用nmon看最快也只能有160KBytes/s的样子,因为是生产系统,没有太多的时间去试,只能先切换到千兆的网卡了,切换回来之后用nmon看I/O,总的大概有70多MBytes/s的样子。怀疑虽然AIX系统能认到万兆的网卡,可能还是需要打...显示全部
errpt没有报错,今天去把万兆的网卡直接和存储接,用dd命令测试,然后用nmon看最快也只能有160KBytes/s的样子,因为是生产系统,没有太多的时间去试,只能先切换到千兆的网卡了,切换回来之后用nmon看I/O,总的大概有70多MBytes/s的样子。怀疑虽然AIX系统能认到万兆的网卡,可能还是需要打下这个万兆网卡的drive,这个只是这么怀疑,因为是生产系统,没机会再测试了。收起
政府机关 · 2011-07-21
浏览5334
myguangzhoumyguangzhou  技术经理 , Uniwise
你尝试用这个10K的网络来FTP一些文件,看速度如何,先把网络及物理故障先排除显示全部
你尝试用这个10K的网络来FTP一些文件,看速度如何,先把网络及物理故障先排除收起
互联网服务 · 2011-07-21
浏览5311
myguangzhoumyguangzhou  技术经理 , Uniwise
出问题了,你们找华三还是找HP啊?:lol显示全部
出问题了,你们找华三还是找HP啊?:lol收起
互联网服务 · 2011-07-21
浏览5348
czb1984czb1984  项目经理 , 浙江省公众信息产业有限公司
华三的存储没接触过显示全部
华三的存储没接触过收起
系统集成 · 2011-07-21
浏览5104
czb1984czb1984  项目经理 , 浙江省公众信息产业有限公司
你用的是FCOE吗?显示全部
你用的是FCOE吗?收起
系统集成 · 2011-07-21
浏览5182
liu2006liu2006  软件开发工程师 , crc
本帖最后由 feiyangcxw 于 2011-7-20 14:56 编辑 AIX 6100-06-04-1112storage:华三IP存储问题:之前使用的是千兆的网卡,最高的读写大概在70M左右。更换个了万兆的网卡,现在变成读写的速率只有1M多了,不知道问题出在哪,万兆的网卡的口是光口的。 你看到的速率只有1M多,你确定1后...显示全部
本帖最后由 feiyangcxw 于 2011-7-20 14:56 编辑

AIX 6100-06-04-1112
storage:华三IP存储
问题:之前使用的是千兆的网卡,最高的读写大概在70M左右。更换个了万兆的网卡,现在变成读写的速率只有1M多了,不知道问题出在哪,万兆的网卡的口是光口的。

你看到的速率只有1M多,你确定1后面没有K吗?收起
互联网服务 · 2011-07-21
浏览5112
hello_unixhello_unix  信息技术经理 , 西安
有没有什么系统报错,看看errpt,怀疑是驱动或者firmware之类的故障显示全部
有没有什么系统报错,看看errpt,怀疑是驱动或者firmware之类的故障收起
互联网服务 · 2011-07-21
浏览5230

提问者

feiyangcxw
系统运维工程师IBM
擅长领域: 服务器数据库AIX

相关问题

相关文章

问题状态

  • 发布时间:2011-07-20
  • 关注会员:3 人
  • 问题浏览:30424
  • 最近回答:2011-07-21
  • X社区推广