【案例分享】S5700因收到大量STP TC報文導(dǎo)致CPU升高

yi321yi 2020-08-07

展開全文

問題描述

如圖1-1所示，某用戶反饋其企業(yè)網(wǎng)絡(luò)中，其中一臺S5700交換機(jī)（圖中標(biāo)號為S11的設(shè)備）CPU異常，CPU占用率經(jīng)常達(dá)到90%以上。

圖1-1 S5700因收到大量STP TC報文導(dǎo)致CPU升高組網(wǎng)圖

告警信息

執(zhí)行命令display cpu-usage，查詢S5700的CPU信息，S5700最近曾出現(xiàn)CPU升高的記錄，CPU占用率最高達(dá)到了97%。

<S5700> display cpu-usage

CPU Usage Stat. Cycle: 60 (Second)

CPU Usage : 18% Max: 97%

CPU Usage Stat. Time : 2014-10-07 11:19:29

CPU utilization for five seconds: 18%: one minute: 18%: five minutes: 18%

Max CPU Usage Stat. Time : 2014-09-11 16:37:54.

查詢設(shè)備日志，有大量TC報文日志產(chǎn)生：

Oct 7 2014 11:06:20-05:13 S5700 %%01INFO/4/SUPPRESS_LOG(l)[15]:Last message repeated 1 times.(InfoID=1092489232, ModuleName=MSTP, InfoAlias=RECEIVE_MSTITC)

Oct 7 2014 11:05:19-05:13 S5700 %%01INFO/4/SUPPRESS_LOG(l)[16]:Last message repeated 3 times.(InfoID=1092489232, ModuleName=MSTP, InfoAlias=RECEIVE_MSTITC)

Oct 7 2014 11:04:12-05:13 S5700 %%01INFO/4/SUPPRESS_LOG(l)[17]:Last message repeated 3 times.(InfoID=1092489232, ModuleName=MSTP, InfoAlias=RECEIVE_MSTITC)

處理過程

步驟1

因未在故障時查看信息，無法知道具體哪些進(jìn)程引起CPU升高，懷疑為設(shè)備FTS任務(wù)進(jìn)程要處理大量的TC報文，導(dǎo)致CPU占用率升高。設(shè)備一直產(chǎn)生TC報文日志，首先確定此TC報文是本設(shè)備產(chǎn)生的，還是從其它設(shè)備收到的。

使用display stp tc-bpdu statistics命令查詢TC報文是在S5700設(shè)備產(chǎn)生的，還是從其它設(shè)備收到的。經(jīng)查詢S5700與SwitchA互連的端口GigabitEthernet0/0/52收到的TC報文一直增長，且同時轉(zhuǎn)發(fā)至其它接入層交換機(jī)。由此可以判斷該TC報文不是S5700設(shè)備產(chǎn)生的。

<S5700> display stp tc-bpdu statistics

-------------------------- STP TC/TCN information --------------------------

MSTID Port TC(Send/Receive) TCN(Send/Receive)

0 GigabitEthernet0/0/51 29272/63 0/0

0 GigabitEthernet0/0/52 3/18363 0/0

步驟2

使用display stp tc-bpdu statistics命令逐層排查TC報文入方向設(shè)備，確認(rèn)此TC報文是在網(wǎng)絡(luò)中的哪一臺設(shè)備上產(chǎn)生的。

查詢核心設(shè)備SwitchA，發(fā)現(xiàn)Eth-Trunk1收到大量的TC報文，而Eth-Trunk1是與核心設(shè)備SwicthB互聯(lián)的，由此可以判斷該TC報文不是SwitchA產(chǎn)生的。

<SwitchA> display stp tc-bpdu statistics

-------------------------- STP TC/TCN information --------------------------

MSTID Port TC(Send/Receive) TCN(Send/Receive)

0 GigabitEthernet0/0/1 16754/7 0/0

0 GigabitEthernet0/0/2 17112/1 0/0

0 GigabitEthernet0/0/3 17462/11 0/0

0 GigabitEthernet0/0/4 17793/4 0/0

0 GigabitEthernet0/0/5 18118/5 0/0

0 GigabitEthernet0/0/6 18415/3 0/0

0 GigabitEthernet0/0/14 17791/3 0/0

0 GigabitEthernet0/0/15 18113/6 0/0

0 GigabitEthernet0/0/16 18435/4 0/0

0 Eth-Trunk1 4/11010 0/0

繼續(xù)查詢核心設(shè)備SwitchB，發(fā)現(xiàn)GigabitEthernet0/0/2端口收到大量的TC報文，而GigabitEthernet0/0/2端口是與S4設(shè)備的GigabitEthernet0/0/52互聯(lián)，由此可以判斷該TC報文不是SwitchB產(chǎn)生的。

<SwitchB> display stp tc-bpdu statistics

-------------------------- STP TC/TCN information --------------------------

MSTID Port TC(Send/Receive) TCN(Send/Receive)

0 GigabitEthernet0/0/1 12495/13 0/0

0 GigabitEthernet0/0/2 135/8349 0/0

0 GigabitEthernet0/0/3 13430/19 0/0

0 GigabitEthernet0/0/4 13784/14 0/0

0 GigabitEthernet0/0/5 14200/17 0/0

0 GigabitEthernet0/0/6 14687/10 0/0

0 GigabitEthernet0/0/14 14164/16 0/0

0 GigabitEthernet0/0/15 14164/16 0/0

0 GigabitEthernet0/0/16 14625/12 0/0

0 Eth-Trunk1 11012/4 0/0

繼續(xù)查詢S4設(shè)備，發(fā)現(xiàn)GigabitEthernet0/0/51、GigabitEthernet0/0/52端口Send方向大量的TC報文計數(shù)增漲，初步判斷TC報文由應(yīng)由此設(shè)備產(chǎn)生。

<S4> display stp tc-bpdu statistics

-------------------------- STP TC/TCN information --------------------------

MSTID Port TC(Send/Receive) TCN(Send/Receive)

0 GigabitEthernet0/0/51 8196/1123 0/0

0 GigabitEthernet0/0/52 8343/136 0/0

步驟3

當(dāng)查詢到S4設(shè)備時，發(fā)現(xiàn)其TC報文只有在出方向上不斷有增長計數(shù)，由此可判斷該TC報文為S4設(shè)備產(chǎn)生。此時執(zhí)行命令display stp topology-change查詢該TC報文的信息。從以下回顯可以看出，該設(shè)備GigabitEthernet0/0/51端口不斷由阻塞變?yōu)榉砰_后，由于狀態(tài)變?yōu)閐etected而觸發(fā)拓?fù)渥兓?nbsp;

<S4> display stp topology-change

CIST topology change information

Number of topology changes :8233

Time since last topology change :0 days 0h:0m:26s

Topology change initiator(detected) :GigabitEthernet0/0/51

Number of generated topologychange traps : 9852

Number of suppressed topologychange traps: 13

步驟4

執(zhí)行命令display interface brief查詢該接入設(shè)備端口信息，發(fā)現(xiàn)該設(shè)備GigabitEthernet0/0/51端口入方向有大量錯包，隔一段時間后，再次查詢該設(shè)備的端口信息，GigabitEthernet0/0/51端口入方向還是有大量錯包。由此說明此接口入方向光纖線纜有問題，排查線纜故障后問題解決。

<S4> display interface brief

PHY: Physical

*down: administratively down

^down: standby

(l): loopback

(s): spoofing

(E): E-Trunk down

(b): BFD down

(e): ETHOAM down

(dl): DLDP down

(d): Dampening Suppressed

InUti/OutUti: input utility/output utility