某銀行客戶辦公網(wǎng)與設(shè)備帶外管理網(wǎng)屬于同一網(wǎng)段，其通過網(wǎng)管監(jiān)控發(fā)現(xiàn)，大量設(shè)備在特定時間出現(xiàn)管理口利用率和設(shè)備CPU利用率突增情況，CPU利用率最高可達到95%，管理口利用率設(shè)備運行存在安全隱患。

　　1、采集客戶設(shè)備日志和diag信息，分析客戶組網(wǎng)

　　2、查看當(dāng)前設(shè)備上的報文計數(shù)信息：

　　=====================================================================

　　===============display cpu-defend statistics all===============

　　=====================================================================

　　Statistics on mainboard:

　　--------------------------------------------------------------------------------

　　Packet Type Pass(Packet/Byte) Drop(Packet/Byte) Last-dropping-time

　　--------------------------------------------------------------------------------

　　8021x 0 0 -

　　0 0

　　……..

　　asdp 0 0 -

　　0 0

　　bfd 138866273 0 -

　　9720639110 0

　　……..

　　vrrp 1038299918 0 -

　　NA NA

　　可以看出該設(shè)備當(dāng)前狀態(tài)上是BFD以及VRRP兩類報文的量級很大，存在大量上送的情況， 且對應(yīng)的丟包計數(shù)都是為0;

　　3、查看后臺日志，對應(yīng)的時間點(05:57:54 和06:57:53)上后臺日志都有相應(yīng)的超限記錄：

　　05:57:54之前：

　　Feb 24 2022 05:56:15+08:00 XAD01-BF-DS02 SECE/4/OLC_START:OID 1.3.6.1.4.1.2011.5.25.165.2.2.11.1 CPU overload control start in slot 7. (Threshold1=95%, CurrentCpuUsage=96%, Cycle=2s)

　　Feb 24 2022 05:57:36+08:00 XAD01-BF-DS02 SECE/4/OLC_STOP:OID 1.3.6.1.4.1.2011.5.25.165.2.2.11.2 CPU overload control stop in slot 7. (Threshold1=95%, CurrentCpuUsage=13%, Cycle=2s)

　　4、對應(yīng)任務(wù)線程：排前三占用CPU的線程分別是(SOCK+ METH+MERX)

　　設(shè)備在CPU 沖高的時間點上，存在大量報文走管理口上送，這部分報文不丟棄直接上送導(dǎo)致了CPU 占用率偏高，而管理口為何會發(fā)送報文且報文數(shù)量有突增，需要進一步排查。

　　5、通過與客戶核對分析網(wǎng)絡(luò)結(jié)構(gòu)發(fā)現(xiàn)，其辦公網(wǎng)地址段和設(shè)備的帶外管理地址段的網(wǎng)關(guān)都是同一個，且都是部署在S7706上，雖然網(wǎng)絡(luò)中設(shè)備帶外管理都是通過vpn上送到帶外管理交換機，但帶外管理交換機是二層透傳的方式將管理vlan上送到S7706進行終結(jié)，從本質(zhì)上說，其辦公網(wǎng)和設(shè)備的帶外管理口都屬于同一個網(wǎng)絡(luò)，如果辦公網(wǎng)存在網(wǎng)絡(luò)沖突或中毒等問題，也會導(dǎo)致設(shè)備的管理口收到相關(guān)的報文，影響設(shè)備CPU的性能，按照如上思路排查，在S7706上發(fā)現(xiàn)有大量的ARP沖突告警，

　　#Feb 10 2022 08:01:27+08:00 XAD01-BF-DS02 ARP/4/ARP_IPCONFLICT_TRAP:OID 1.3.6.1.4.1.2011.5.25.123.2.6 ARP detects IP conflict. (IP address=10.87.0.199, Local interface=Ethernet0/0/0, Local MAC=3c2a-f411-54e6, Local vlan=0, Local CE vlan=0, Receive interface=Ethernet0/0/0, Receive MAC=14a0-f89b-5e23, Receive vlan=0, Receive CE vlan=0, IP conflict type=Remote IP conflict).

　　同時也發(fā)現(xiàn)設(shè)備上存在該地址地址沖突問題

　　通過跟蹤排查，查詢對應(yīng)mac地址發(fā)現(xiàn)，其地址是在辦公網(wǎng)內(nèi)的一臺打印機地址，與防火墻出口的一條nat地址沖突，因NAT地址已經(jīng)不再使用，刪除NAT配置，保留打印機地址。為了進一步判斷確認(rèn)故障源頭，與客戶協(xié)商在帶外交換機上配置7706管理口接到交換機端口入方向端口鏡像，進行故障定位。

　　6、在隨后的測試階段，交換機管理口依舊收到突然報文，通過抓取的鏡像口報文分析，發(fā)現(xiàn)大量的HTTP報文，地址源是10.87.0.199 ，即打印機地址，通過分析，該打印開啟的web訪問服務(wù)，用戶在訪問其web應(yīng)用時，會給同網(wǎng)段用戶周期性的發(fā)送http訪問請求，從而導(dǎo)致問題發(fā)生，隨后客戶拔除該打印機后，突發(fā)告警不再出現(xiàn)。

• 上一篇：如何提高網(wǎng)絡(luò)性能的技巧
• 下一篇：Cisco Firepower 防火墻的優(yōu)點