NetBuddy.Org论坛 - 急！！很奇怪的网络延时问题。已解决（升级交换机软件）


	欢迎访客 ( 登陆 \| 注册 )

NetBuddy.Org论坛 ->技术论坛 ->网络世界

前往页面: (2) [1] 2 ( 前往第一篇未阅读文章 )

急！！很奇怪的网络延时问题。已解决（升级交换机软件）

« 上一篇主题 | 下一篇主题 »

跟踪主题 | 邮寄主题 | 打印主题

superlee

1. 急！！很奇怪的网络延时问题。已解决（升级交换机软件）

HP : 87 / 879

MP : 630 / 13826

EXP : 18%

天道酬勤

成员等级: 36
发表总数: 1891
金币总数: 418
所属组别: 核心成员
注册日期: 2003/08/22

PC_A与PC_B之间经过了1台防火墙，1台华为3528交换机

两台机器互相ping，但是延时简直就是差了1个数量级。这时候交换机的CPU是70％，防火墙的CPU是2％

郁闷

兄弟们讨论讨论问题会是在哪里？

本文章由 superlee于 2004/12/29, 12:47 重新编辑过

附带图片

发表于2004/12/20, 16:19

bstone

2. Re:急！！很奇怪的网络延时问题。

HP : 94 / 943

MP : 754 / 15463

EXP : 75%

重定向中

成员等级: 38
发表总数: 2263
金币总数: 679
所属组别: 核心成员
注册日期: 2003/05/31

CPU是70％,好像高了些？

环路还是病毒？

一切都是没有结局的开始
一切都是稍纵即逝的追寻

发表于2004/12/20, 16:51

superlee

3. Re:急！！很奇怪的网络延时问题。

HP : 87 / 879

MP : 630 / 13826

EXP : 18%

天道酬勤

成员等级: 36
发表总数: 1891
金币总数: 418
所属组别: 核心成员
注册日期: 2003/08/22

有些BT，有些病毒，但不是太多

发表于2004/12/20, 17:11

superlee

4. Re:急！！很奇怪的网络延时问题。

HP : 87 / 879

MP : 630 / 13826

EXP : 18%

天道酬勤

成员等级: 36
发表总数: 1891
金币总数: 418
所属组别: 核心成员
注册日期: 2003/08/22

交换机上现在不开ACL策略（策略是加载在端口上的），通知用BT的兄弟关掉BT客户端，

这时候CPU在40%了，此时网络利用率在10％

PC_B ping PC_A的响应时间降到2ms到6ms之间

发表于2004/12/20, 17:18

superlee

5. Re:急！！很奇怪的网络延时问题。

HP : 87 / 879

MP : 630 / 13826

EXP : 18%

天道酬勤

成员等级: 36
发表总数: 1891
金币总数: 418
所属组别: 核心成员
注册日期: 2003/08/22

顶一下，兄弟们，看看是华为交换机处理不过来了，还是防火墙接口处理不过来了？？

发表于2004/12/20, 19:09

coolash

6. Re:急！！很奇怪的网络延时问题。

HP : 0 / 468

MP : 151 / 7371

EXP : 73%

名动江湖

成员等级: 19
发表总数: 453
金币总数: 460
所属组别: 中级成员
注册日期: 2003/08/20

防火墙利用率这么低,应该不存在在处理不过来的现象吧..此时的session数是多少?
我觉的交换机的处理能力可能性比较大,有没有可能是本地交换的流量比较大,

发表于2004/12/20, 21:40

superlee

7. Re:急！！很奇怪的网络延时问题。

HP : 87 / 879

MP : 630 / 13826

EXP : 18%

天道酬勤

成员等级: 36
发表总数: 1891
金币总数: 418
所属组别: 核心成员
注册日期: 2003/08/22

顶一下

总结出一个规律：

2-5ms 交换机CPU:40%左右

8-30ms 交换机CPU:70%左右

20-70ms 交换机CPU:99%左右

发表于2004/12/27, 15:29

麦子

8. Re:急！！很奇怪的网络延时问题。

HP : 250 / 1254

MP : 1625 / 21982

EXP : 16%

迟则生变

成员等级: 51
发表总数: 4876
金币总数: 307
所属组别: 管理员
注册日期: 2003/01/9

CPU和延时关系如此密切，莫非这台交换机用软件方法做交换？

调换一下两台PC的位置测试再一下看看？

没有谁能像一座孤岛/在大海里独踞/每个人都像一块小小的泥土/连接成整个陆地/如果一块泥土被海水冲去/欧洲将缺其一隅/这如同一座山岬/也如同你的朋友和你自己/无论谁死了/都是自己的一部分在死去/因为我包含在人类这个概念里/因此我从不问丧钟为谁而鸣/它为我，也为你
No man is an Island, entire of itself; every man is a piece of the Continent, a part of the main; if a clod be washed away by the sea, Europe is the less, as well as if a promontory were, as well as if a man or of thy friends or of thine own were; any man's death diminishes me, because I am involved in Mankind; And therefore never send to know for whom the bell tolls; It tolls for thee.

发表于2004/12/27, 15:44

superlee

9. Re:急！！很奇怪的网络延时问题。

HP : 87 / 879

MP : 630 / 13826

EXP : 18%

天道酬勤

成员等级: 36
发表总数: 1891
金币总数: 418
所属组别: 核心成员
注册日期: 2003/08/22

是这样的，3528是一个三层交换机，它跟防火墙的接口跑OSPF

客户报告一个现象，延时很大的时候，交换机CPU到了100%,这时候，

旁路掉防火墙，将3528交换机直接接到CISCO7606上，3528的CPU就降到了40%

延时就恢复正常了。

到底是什么让3528的CPU超负荷呢？

发表于2004/12/27, 16:02

superlee

10. RE: 急！！很奇怪的网络延时问题。

HP : 87 / 879

MP : 630 / 13826

EXP : 18%

天道酬勤

成员等级: 36
发表总数: 1891
金币总数: 418
所属组别: 核心成员
注册日期: 2003/08/22

QUOTE

CPU和延时关系如此密切，莫非这台交换机用软件方法做交换？

调换一下两台PC的位置测试再一下看看？

呵呵，这个延时是某方向上的普遍现象，跟单台PC没有关系了

发表于2004/12/27, 16:03

麦子

11. Re:急！！很奇怪的网络延时问题。

HP : 250 / 1254

MP : 1625 / 21982

EXP : 16%

迟则生变

成员等级: 51
发表总数: 4876
金币总数: 307
所属组别: 管理员
注册日期: 2003/01/9

防火墙工作于什么模式？透明？路由？NAT?
防火墙和交换机什么端口互联？速率？双工？TRUNK?流量多大？
防火墙/交换机路由有没有抖动现象？
什么进程使用了最多的CPU时间？

发表于2004/12/27, 16:08

superlee

12. Re:急！！很奇怪的网络延时问题。

HP : 87 / 879

MP : 630 / 13826

EXP : 18%

天道酬勤

成员等级: 36
发表总数: 1891
金币总数: 418
所属组别: 核心成员
注册日期: 2003/08/22

防火墙工作于什么模式？透明？路由？NAT?
答：路由模式

防火墙和交换机什么端口互联？速率？双工？TRUNK?流量多大？
答：100M全双工；流量：10％

防火墙/交换机路由有没有抖动现象？
答：没有

什么进程使用了最多的CPU时间？
答：交换机看不到这个信息

发表于2004/12/27, 17:34

superlee

13. Re:急！！很奇怪的网络延时问题。

HP : 87 / 879

MP : 630 / 13826

EXP : 18%

天道酬勤

成员等级: 36
发表总数: 1891
金币总数: 418
所属组别: 核心成员
注册日期: 2003/08/22

交换机接口：

Last 300 seconds input: 87 packets/sec 54717 bytes/sec
Last 300 seconds output: 60 packets/sec 12468 bytes/sec
Input(total): - packets, - bytes
- broadcasts, - multicasts
Input(normal): 535662454 packets, 235099079016 bytes
8459 broadcasts, 293818 multicasts
Input: 46258 input errors, 1 runts, 0 giants, - throttles, 1 CRC
46233 frame, 0 overruns, 23 aborts, - ignored, - parity errors
Output(total): - packets, - bytes
- broadcasts, - multicasts, - pauses
Output(normal): 617282368 packets, 421015943975 bytes
710 broadcasts, 325991 multicasts, 0 pauses
Output: 325427 output errors, - underruns, - buffer failures
0 aborts, 0 deferred, 325427 collisions, 0 late collisions
- lost carrier, - no carrier

防火墙接口：

early frame 70942440 • early frame －用于以太网驱动程序缓冲区描述符管理的计数器
late frame 70942444 • late frame －用于以太网驱动程序缓冲区描述符管理的计数器

out cs lost 5114 • out cs lost －由于“多路访问载波监听/ 冲突检测” (CSMA/CD) 协议丢失了信号而丢弃的发出封包数11
out misc err 5114 • out misc err －存在混杂错误的发出封包数

in overrun 2585 • in overrun －已传输的超载封包数
in misc err 2587 • in misc err －存在混杂错误的进入封包数

现在诊断焦点先集中在这两个全双工的接口间为什么会有这么多冲突包产生了。

补充：这个冲突包，大部分是串了一个HUB进去后产生的，被误导了：（

本文章由 superlee于 2004/12/29, 12:24 重新编辑过

发表于2004/12/28, 10:12

麦子

14. Re:急！！很奇怪的网络延时问题。

HP : 250 / 1254

MP : 1625 / 21982

EXP : 16%

迟则生变

成员等级: 51
发表总数: 4876
金币总数: 307
所属组别: 管理员
注册日期: 2003/01/9

更换一下工作模式看看？比如说都换成100M Half Duplex

发表于2004/12/28, 11:00

superlee

15. RE: 急！！很奇怪的网络延时问题。

HP : 87 / 879

MP : 630 / 13826

EXP : 18%

天道酬勤

成员等级: 36
发表总数: 1891
金币总数: 418
所属组别: 核心成员
注册日期: 2003/08/22

QUOTE

CPU和延时关系如此密切，莫非这台交换机用软件方法做交换？

故障已经排除，总结一下下

麦子的这句话说对了大部分，这台交换机的VRR软件有问题，跟NS防火墙存在兼容性问题
导致了某个方向上的数据包大约有50％以上都由交换机的CPU来做交换转发了，所以CPU
和延时的关系如此密切。

模拟了各个方向上大负载情况下的延时（同一VLAN，跨VLAN，跨交换机、防火墙及相反方向、
同一防火墙），确认问题就出在交换机处理防火墙过来的数据包时CPU使用率过高。

华为的兄弟来现场，debug了一把，发现只要是该方向上包长度大于“78”（：这个是华为
的单位），都被copy到交换机的CPU去了，所以负载一大，大包一多，交换机的CPU马上就
飙升到90%以上，这个方向上的网络性能就严重恶化。同时，该交换机上其它方向（同一VLAN，
跨VLAN）的数据转发一切正常，交换机冒似正常。也正是因为这个原因，让最先的故障的排查
焦点都集中在了防火墙上，FT

最后，升级了交换机的VRR软件版本，故障排除，最低负载情况下，两个方向的延时都在0.5ms左右了
加上大负载，两个方向也都在0.9ms左右，交换机的CPU保持在17%左右，一切恢复了正常。

发表于2004/12/29, 12:46