客戶至上
電話:15378180513
聯(lián)系人:
官網(wǎng):http://byzgrb.cn
一客戶反饋S5800設(shè)備使用過程中,CPU利用率突然上升到100%,之后客戶業(yè)務(wù)馬上受到影響,登錄設(shè)備查看進(jìn)程發(fā)現(xiàn)arp占79%,但過了幾分鐘后CPU又回到原來水平了。該故障情況不定時(shí)出現(xiàn),每次出現(xiàn)持續(xù)一段時(shí)間。
原因分析
1、根據(jù)診斷信息,可以確定占用CPU較多的進(jìn)程是ARP任務(wù)?,F(xiàn)場(chǎng)通過抓包確認(rèn),CPU高時(shí),設(shè)備收到較多ARP報(bào)文。
2、查看設(shè)備配置,發(fā)現(xiàn)配置了arp detection功能。在配置了ARP Detection功能后,設(shè)備會(huì)將收到的ARP報(bào)文重定向到CPU進(jìn)行檢查,這樣可能會(huì)導(dǎo)致當(dāng)網(wǎng)絡(luò)中存在攻擊者惡意構(gòu)造大量ARP報(bào)文發(fā)往設(shè)備,會(huì)導(dǎo)致設(shè)備的CPU負(fù)擔(dān)過重,從而造成其他功能無法正常運(yùn)行甚至設(shè)備癱瘓。這種情況下,可以啟用ARP報(bào)文限速功能來控制上送CPU的ARP報(bào)文的速率。但現(xiàn)場(chǎng)配置arp報(bào)文限速功能后,cpu依然很高,后來關(guān)閉了arp detection功能后,故障仍然存在。
3、繼續(xù)排查,通過現(xiàn)場(chǎng)在CPU高時(shí)打印上送cpu的報(bào)文,以及收集如下信息查看arp進(jìn)程的具體調(diào)用棧情況。
[S5800]_h
[S5800-hidecmd]dis task 110 slot 1 cpu 0
[S5800-hidecmd]dis task 110 slot 2 cpu 0
通過查看任務(wù)調(diào)用信息,發(fā)現(xiàn)下面的配置導(dǎo)致ARP進(jìn)程偏高:
arp anti-attack source-mac filter
arp廣播報(bào)文默認(rèn)上cpu處理 ,而arp 單播回應(yīng)報(bào)文只有目的mac是設(shè)備本身才會(huì)上送cpu,默認(rèn)情況下目的mac不是自己的不上,配置該命令后,導(dǎo)致過路的arp也會(huì)上送cpu。
該命令的作用是:使能源MAC地址固定的ARP攻擊檢測(cè)之后,該特性會(huì)對(duì)上送CPU的ARP報(bào)文按照源MAC地址和VLAN進(jìn)行統(tǒng)計(jì)。當(dāng)在一定時(shí)間(5秒)內(nèi)收到某固定源MAC地址的ARP報(bào)文超過設(shè)定的閾值,不同模式的處理方式存在差異:在filter模式下會(huì)打印Log信息并對(duì)該源MAC地址對(duì)應(yīng)的ARP報(bào)文進(jìn)行過濾;在monitor模式下只打印Log信息,不過濾ARP報(bào)文。
如果超過閾值,因?yàn)槟J綖閒ilter,因此會(huì)下發(fā)ACL規(guī)則到硬件,丟棄ARP的攻擊報(bào)文。另外,丟棄一段時(shí)間后,軟件還會(huì)刪除之前下發(fā)的ACL,并重新檢測(cè)。由于ACL的添加、刪除涉及到操作硬件寄存器,而且因?yàn)锳CL條目?jī)?yōu)先級(jí)排序,添、刪ACL會(huì)引起塊搬移(比如插入或移除整個(gè)ACL表中間的某一條,那么其后面的所有條目都要進(jìn)行搬移),如果頻繁添、刪ACL,而且設(shè)備中已經(jīng)存在較多ACL條目的時(shí)候,就會(huì)導(dǎo)致CPU占用率偏高。
解決辦法
現(xiàn)場(chǎng)通過取消arp anti-attack source-mac filter命令(或把filter改成monitor),設(shè)備的CPU已恢復(fù)正常。
建議與總結(jié)
1、該問題的本質(zhì)是現(xiàn)網(wǎng)環(huán)境中存在arp攻擊,現(xiàn)場(chǎng)應(yīng)該及時(shí)排查arp攻擊源,否則大量的arp報(bào)文上送到網(wǎng)關(guān),到時(shí)候可能也承受不住;
2、若環(huán)境中可能存在arp攻擊時(shí),可以配置arp anti-attack source-mac monitor來監(jiān)測(cè)arp攻擊情況,當(dāng)發(fā)生arp攻擊時(shí),設(shè)備會(huì)產(chǎn)生arp攻擊LOG告警信息,并且不會(huì)影響到設(shè)備CPU利用率;
成都市武候區(qū)人民南路4段53號(hào)嘉云臺(tái)丙棟7樓
Copyright ? 2024 達(dá)銳斯科技 川公網(wǎng)安備 51010802000119號(hào)
XML地圖
蜀ICP備2020034250號(hào)-1 技術(shù)支持: 網(wǎng)站模板