Web漏洞掃描原理是什么呢？相信很多人都不清楚其中的原理是什么，作為一個(gè)獨(dú)立的服務(wù)運(yùn)行在產(chǎn)品的系統(tǒng)之中，它通過(guò)收發(fā)消息和外部的產(chǎn)品進(jìn)行交互。web漏洞掃描有什么作用呢？今天就跟著小編一起來(lái)了解下關(guān)于web漏洞掃描，學(xué)會(huì)利用web漏洞掃描來(lái)提高掃描引擎的性能。

　　Web漏洞掃描原理是什么？

　　Web掃描引擎，產(chǎn)品通過(guò)向引擎發(fā)送一條消息來(lái)創(chuàng)建/暫停/停止/續(xù)掃一個(gè)任務(wù)，而引擎則通過(guò)消息告訴外界自己的狀態(tài)、已經(jīng)爬取的鏈接和已經(jīng)檢測(cè)到的漏洞；同時(shí)產(chǎn)品也可以通過(guò)消息來(lái)設(shè)置引擎的日志級(jí)別，系統(tǒng)使用帶寬等屬性。

　　對(duì)于某一特定的掃描任務(wù)，掃描引擎的作用可以理解為通過(guò)不斷發(fā)現(xiàn)新的頁(yè)面，將爬蟲和插件的工作持續(xù)進(jìn)行下去，直到整個(gè)站點(diǎn)被處理完或者達(dá)到某種設(shè)置的門限。Web應(yīng)用漏洞掃描從大的方面可以分為頁(yè)面爬取、探測(cè)點(diǎn)發(fā)現(xiàn)和漏洞檢測(cè)三個(gè)階段。Web掃描引擎將第一個(gè)階段由爬蟲獨(dú)立完成，后兩個(gè)階段依賴于第一個(gè)階段的結(jié)果，由插件獨(dú)立完成。爬蟲和插件之間可以同時(shí)進(jìn)行，也可以等爬蟲將站點(diǎn)爬完之后，再統(tǒng)一交給插件處理。

　　1、頁(yè)面爬取

　　頁(yè)面爬取使用智能頁(yè)面爬取技術(shù)，重點(diǎn)在于快而全地獲取整個(gè)站點(diǎn)的站點(diǎn)樹。這個(gè)過(guò)程分為兩步，網(wǎng)絡(luò)訪問(wèn)和鏈接抽取。網(wǎng)絡(luò)訪問(wèn)需要支持設(shè)置cookie，自定義請(qǐng)求頭，設(shè)置代理（http，https，sock4，sock5），支持各種認(rèn)證方式（basic，ntml，digest），客戶端證書等。拿到響應(yīng)之后，需要自動(dòng)識(shí)別響應(yīng)的編碼方式，并將其轉(zhuǎn)換為統(tǒng)一的UTF-8編碼，供后續(xù)抽取鏈接等操作使用。目前支持從HTML，HTML注釋，F(xiàn)lash，WSDL等靜態(tài)內(nèi)容中抽取鏈接之外，還用webkit實(shí)現(xiàn)了從DOM樹，JS，Ajax等重抽取靜態(tài)和動(dòng)態(tài)的鏈接。

　　除了使用前文提到的各種爬取設(shè)置和智能技術(shù)之外，還需要對(duì)站點(diǎn)做存活性判斷、主動(dòng)識(shí)別頁(yè)面類型（圖片，外部鏈接，二進(jìn)制文件，其它純靜態(tài)文件等）、嘗試猜測(cè)一些無(wú)法從其他頁(yè)面解析出來(lái)的但可能存在的目錄并做好標(biāo)記。存活性判斷主要是為了迅速給出站點(diǎn)是否可達(dá)（可能跟用戶的輸入，配置的代理、認(rèn)證信息，站點(diǎn)本身都有關(guān)系）的一個(gè)結(jié)論，避免做一些無(wú)用功；頁(yè)面類型主要為了幫助插件區(qū)分哪些頁(yè)面可能存在漏洞需要被掃，哪些頁(yè)面可以直接跳過(guò)；根據(jù)一定的字典猜測(cè)可能存在的鏈接，一方面是為了盡可能多地發(fā)現(xiàn)頁(yè)面，另一方面是為了方便插件直接根據(jù)猜測(cè)的標(biāo)記報(bào)告敏感文件的漏洞。

　　通過(guò)爬取的時(shí)候獲取并標(biāo)記盡可能多的信息，可以極大地減少邏輯冗余，提高掃描引擎的性能。

　　2、探測(cè)點(diǎn)發(fā)現(xiàn)

　　不同的插件有針對(duì)性地在請(qǐng)求中尋找不同的探測(cè)點(diǎn)，可能的探測(cè)點(diǎn)有URL路徑，GET方法URL中的參數(shù)，POST方法請(qǐng)求體中的參數(shù)，請(qǐng)求頭中的字段，cookie中的鍵值，響應(yīng)體等等。一般而言，插件會(huì)嘗試對(duì)待掃描的URL進(jìn)行解析，分解出各種可能存在漏洞的探測(cè)點(diǎn)，供后續(xù)進(jìn)行相關(guān)的漏洞檢測(cè)。

　　3、漏洞檢測(cè)

　　每個(gè)具體的漏洞都有相應(yīng)的一個(gè)插件來(lái)進(jìn)行具體的檢測(cè)。插件根據(jù)得到的探測(cè)點(diǎn)，有針對(duì)性地構(gòu)造特殊的網(wǎng)絡(luò)請(qǐng)求，使用遠(yuǎn)程網(wǎng)站漏洞掃描檢測(cè)技術(shù)進(jìn)行漏洞檢測(cè)，判斷是否存在相應(yīng)的漏洞。除了使用到的漏洞檢測(cè)技術(shù)之外，為了緩解網(wǎng)絡(luò)訪問(wèn)帶來(lái)的性能問(wèn)題，在需要發(fā)送多種探測(cè)請(qǐng)求的插件中，將網(wǎng)絡(luò)請(qǐng)求并發(fā)而將網(wǎng)絡(luò)響應(yīng)的處理串行起來(lái)提高掃描速度；為了避免在短時(shí)間內(nèi)發(fā)送重復(fù)的網(wǎng)絡(luò)請(qǐng)求（某些插件不需要重新構(gòu)造請(qǐng)求體，使用的是和爬蟲一樣的網(wǎng)絡(luò)請(qǐng)求），使用了頁(yè)面緩存技術(shù)，旨在降低網(wǎng)絡(luò)訪問(wèn)對(duì)掃描速度的影響；引擎在掃描的過(guò)程中，能夠根據(jù)系統(tǒng)當(dāng)時(shí)的負(fù)載，自動(dòng)調(diào)節(jié)處理URL的并發(fā)進(jìn)程數(shù)（不超過(guò)任務(wù)配置的進(jìn)程數(shù)的前提下），從而獲得一個(gè)最佳的系統(tǒng)吞吐量。

　　對(duì)于漏洞檢測(cè)，分為兩大類的漏洞進(jìn)行檢測(cè)：

　　1．針對(duì)URL的漏洞掃描：

　　例如XSS：對(duì)將要掃描的URL進(jìn)行拆分，然后針對(duì)每個(gè)參數(shù)進(jìn)行檢測(cè)，首先會(huì)在原有參數(shù)值后面添加一個(gè)正常的字符串，從響應(yīng)頁(yè)面內(nèi)容中查找輸入的字符串是否存在，并且分析上下文，根據(jù)分析的結(jié)果，再次重新輸入特定的字符串，繼續(xù)通過(guò)分析上下文，判斷所輸入的特定的字符串是否能被執(zhí)行，如果不行或者是輸入的某些字符串被過(guò)濾，則會(huì)重新輸入其他的特定字符串進(jìn)行驗(yàn)證。

　　2．針對(duì)開源CMS的特定漏洞掃描

　　例如Wordpress：在爬蟲爬取的時(shí)候，會(huì)通過(guò)網(wǎng)站的一些特征進(jìn)行識(shí)別，如果識(shí)別出當(dāng)前被掃描站點(diǎn)使用了wordpress，則會(huì)調(diào)用WEB掃描引擎中wordpress相關(guān)的所有漏洞檢測(cè)插件，通過(guò)這些檢測(cè)插件，發(fā)現(xiàn)存在于wordpress的特定漏洞。

　　采用多視角對(duì)掃描結(jié)果進(jìn)行分析，系統(tǒng)提供了多種類型的報(bào)表滿足多種報(bào)表需求，普通的綜述報(bào)表和單站點(diǎn)報(bào)表，單個(gè)站點(diǎn)的趨勢(shì)報(bào)表，多個(gè)站點(diǎn)的對(duì)比報(bào)表，支持OWASP top10分類的行業(yè)報(bào)表。綜述報(bào)表從任務(wù)的角度對(duì)任務(wù)中包含的單個(gè)或多個(gè)站點(diǎn)進(jìn)行整體的風(fēng)險(xiǎn)評(píng)估，展示高中低風(fēng)險(xiǎn)以及頁(yè)面風(fēng)險(xiǎn)的分布，并從漏洞的角度展示了受影響的站點(diǎn)，以及漏洞的描述信息及解決方案。單站點(diǎn)報(bào)表詳細(xì)的從風(fēng)險(xiǎn)分類的角度展示了單個(gè)站點(diǎn)在各風(fēng)險(xiǎn)類型的漏洞分布，站點(diǎn)存在漏洞的詳細(xì)列表，站點(diǎn)樹及外鏈的信息。趨勢(shì)報(bào)表展示了單個(gè)站點(diǎn)的高中低漏洞數(shù)以及風(fēng)險(xiǎn)值的趨勢(shì)變化情況，并且從漏洞的角度突出多次掃描漏洞的新發(fā)現(xiàn)和已解決情況。對(duì)比報(bào)表用來(lái)對(duì)比不同站點(diǎn)的風(fēng)險(xiǎn)分布以及漏洞分布情況，能幫助管理員快速進(jìn)行多個(gè)站點(diǎn)的風(fēng)險(xiǎn)排名。系統(tǒng)中對(duì)所有漏洞進(jìn)行了OWASP-2010，OWASP-2013，WASC分類，報(bào)表同時(shí)也支持OWASP-2010，OWASP-2013，WASC三種行業(yè)報(bào)表。同時(shí)報(bào)表支持多種格式：HTML，WORD，PDF，XML。

　　4、高速引擎

　　web掃描引擎為了突破性能瓶頸，分別采取爬取和掃描分離、高網(wǎng)絡(luò)并發(fā)、本地緩存、自適應(yīng)動(dòng)態(tài)調(diào)整等技術(shù)來(lái)給引擎加速。

　　1.爬取和掃描分離使得模塊耦合降低的同時(shí)，也減少了邏輯之間的等待與依賴，使得爬取和掃描都可以只關(guān)注自己的業(yè)務(wù)，為性能加分。

　　2.由于web掃描屬于網(wǎng)絡(luò)密集型的掃描，網(wǎng)絡(luò)訪問(wèn)時(shí)間對(duì)掃描速度影響很大，高網(wǎng)絡(luò)并發(fā)的目的就是將耗時(shí)的操作進(jìn)行并發(fā)處理，讓外部耗時(shí)盡可能降到最低。

　　3.爬蟲和插件的掃描有大量的重復(fù)的網(wǎng)絡(luò)請(qǐng)求，通過(guò)本地緩存使相同的請(qǐng)求只訪問(wèn)服務(wù)器一次，節(jié)省了大量的網(wǎng)絡(luò)訪問(wèn)時(shí)間。

　　4.自適應(yīng)動(dòng)態(tài)調(diào)整是引擎內(nèi)部會(huì)根據(jù)引擎的全局并發(fā)數(shù)設(shè)置和實(shí)際消耗的系統(tǒng)資源（主要是CPU和內(nèi)存）動(dòng)態(tài)調(diào)整掃描的并發(fā)進(jìn)程數(shù)，使得系統(tǒng)資源能得到最充分的合理使用，提高掃描的整體性能

　　5、智能頁(yè)面爬取技術(shù)

　　基于模擬點(diǎn)擊技術(shù)的智能爬蟲能高效并盡可能多的抓取網(wǎng)站頁(yè)面，主要組成部分包含兩個(gè)部件，部件一用于爬蟲策略的控制、登陸驗(yàn)證數(shù)據(jù)的控制、及自定義可爬取頁(yè)面、不可爬取頁(yè)面的控制等，稱為控制部件；部件二用于提取頁(yè)面內(nèi)連接，通過(guò)模擬點(diǎn)擊技術(shù)來(lái)操縱DOM數(shù)據(jù)模型，并通過(guò)截獲腳本執(zhí)行數(shù)據(jù)達(dá)到提取鏈接和阻止對(duì)服務(wù)器數(shù)據(jù)的破壞，稱為處理部件。

　　控制部件將站點(diǎn)url作為參數(shù)傳遞給處理部件，處理部件從目標(biāo)web服務(wù)器獲取web頁(yè)面，并通過(guò)內(nèi)置瀏覽器內(nèi)核將獲取的html文檔解析成DOM數(shù)據(jù)模型。然后通過(guò)對(duì)htlm文檔中的不同標(biāo)記做處理，來(lái)提取web頁(yè)面中的url。在處理script標(biāo)記的時(shí)候，會(huì)對(duì)其中的用戶點(diǎn)擊單元進(jìn)行模擬點(diǎn)擊處理，就是模擬人的點(diǎn)擊行為來(lái)觸發(fā)點(diǎn)擊事件。并在引發(fā)DOM數(shù)據(jù)的變更前截獲url，同時(shí)攔截對(duì)DOM模型的修改，這樣既達(dá)到了url的提取，又防止了對(duì)數(shù)據(jù)的修改。

　　其技術(shù)優(yōu)勢(shì)包括：

　　1.高效率，智能爬蟲通過(guò)對(duì)頁(yè)面進(jìn)行消重處理，大大提高了對(duì)網(wǎng)站掃描的速度

　　2.支持多種控制策略來(lái)刪選URL

　　3.Javascript解析引擎的支持能力，能從Javascript代碼中分析出url

　　4.支持從flash文件里提取鏈接

　　5.支持通過(guò)代理進(jìn)行爬取目標(biāo)網(wǎng)站

　　6.支持通過(guò)協(xié)議認(rèn)證進(jìn)行掃描

　　7.支持對(duì)掃描范圍的控制，可掃描整個(gè)域，子域，當(dāng)前目錄

　　8.智能爬蟲采用多線程的方式，以提高頁(yè)面抓取的速度。同時(shí)控制線程數(shù)目，防止大量并發(fā)對(duì)用戶的單個(gè)站點(diǎn)造成過(guò)大壓力

　　6、自適應(yīng)掃描技術(shù)

　　WEB掃描器需要根據(jù)實(shí)際的生產(chǎn)環(huán)境，被掃描站點(diǎn)等因素來(lái)調(diào)節(jié)掃描相關(guān)的參數(shù)配置，達(dá)到平衡壓力,有效利用資源的目的。

　　不妨假定引擎的速度僅僅通過(guò)掃描的并發(fā)數(shù)就可以隨意調(diào)節(jié)，那么對(duì)用戶有意義的“快”可以理解為：在不影響web掃描設(shè)備其它功能，不會(huì)占完掃描設(shè)備所在網(wǎng)絡(luò)的帶寬，不會(huì)使被掃描服務(wù)器響應(yīng)變慢乃至宕機(jī)的前提下，所能允許的最大的掃描并發(fā)數(shù)掃描所能達(dá)到的速度。其實(shí)就是用系統(tǒng)的CPU，內(nèi)存，網(wǎng)卡信息以及被掃描服務(wù)器的響應(yīng)時(shí)間作為反饋，來(lái)調(diào)節(jié)web掃描的并發(fā)數(shù)，使掃描不對(duì)自身和掃描目標(biāo)造成過(guò)分的影響，能最快地完成掃描任務(wù)。web掃描引擎內(nèi)部模擬現(xiàn)實(shí)地設(shè)置了4類傳感器，分別是CPU傳感器，內(nèi)存?zhèn)鞲衅?，網(wǎng)卡傳感器和響應(yīng)傳感器。

　　前3類傳感器屬于掃描器系統(tǒng)級(jí)別的傳感器，而第四類則屬于掃描任務(wù)級(jí)別的傳感器。每類傳感器都有自己的正常工作閾值，采樣值高于閾值的傳回1，低于閾值的傳回-1，在閾值范圍內(nèi)的傳回。

　　自適應(yīng)掃描就是通過(guò)設(shè)置者四類傳感器，獲取各種反饋信息，然后綜合判斷，做出如何調(diào)節(jié)并發(fā)數(shù)的決策。若有任何一個(gè)傳感器傳回1，則意味著某個(gè)指標(biāo)已經(jīng)在危險(xiǎn)的邊緣了，應(yīng)該采取措施避免更嚴(yán)重的問(wèn)題發(fā)生，此時(shí)掃描并發(fā)數(shù)應(yīng)該降低；若所有的傳感器都傳回-1，則意味著系統(tǒng)本身和目標(biāo)站點(diǎn)都比較閑，應(yīng)該采取措施，加大系統(tǒng)負(fù)荷，此時(shí)掃描并發(fā)數(shù)應(yīng)該升高；否則的話，保持掃描并發(fā)數(shù)不變。

　　技術(shù)優(yōu)勢(shì)：

　　目標(biāo)“零”損傷，鏈路“零”占用。

　　隨業(yè)務(wù)帶寬不規(guī)律的震蕩變換，在不侵占業(yè)務(wù)帶寬的同時(shí)，最大程度地利用鏈路剩余帶寬作為掃描帶寬

　　低帶寬也能掃

　　靈活適應(yīng)多類掃描場(chǎng)景（低帶寬，閑忙分離…）

　　穩(wěn)定易用

　　參數(shù)自動(dòng)調(diào)優(yōu)，簡(jiǎn)單省時(shí)

　　最大化地利用設(shè)備的資源

　　7、遠(yuǎn)程網(wǎng)頁(yè)掛馬檢測(cè)技術(shù)

　　網(wǎng)頁(yè)掛馬攻擊是指攻擊者在獲取網(wǎng)站或者網(wǎng)站服務(wù)器的部分或者全部權(quán)限（獲取手段包括SQL注入、XSS攻擊等）之后，在網(wǎng)頁(yè)文件中嵌入一段惡意代碼，這些惡意代碼主要是一些包括瀏覽器本身漏洞、第三方ActiveX漏洞或者其它插件漏洞的利用代碼，用戶訪問(wèn)該掛馬頁(yè)面時(shí)，如果系統(tǒng)沒(méi)有更新惡意代碼中利用的漏洞補(bǔ)丁，則會(huì)執(zhí)行惡意代碼程序，進(jìn)行盜號(hào)等危險(xiǎn)操作。

　　遠(yuǎn)程網(wǎng)頁(yè)掛馬檢測(cè)技術(shù)使用的是靜態(tài)分析和動(dòng)態(tài)解析相結(jié)合的主動(dòng)掛馬檢測(cè)技術(shù)。檢測(cè)實(shí)現(xiàn)原理可簡(jiǎn)單如下描述：掛馬檢測(cè)引擎模擬DOM對(duì)象和ActiveX控件，同時(shí)截獲其內(nèi)存分配行為，當(dāng)被掛馬代碼想操作一個(gè)DOM對(duì)象或ActiveX控件時(shí)，就可以把他的超過(guò)行為全部監(jiān)控下來(lái)。有了這種url頁(yè)面的所有展示行為的監(jiān)控，就可以分析這些行為，按照預(yù)定義的規(guī)則來(lái)判斷是否有惡意代碼的存在。判斷方式有通過(guò)ActiveX的ID判斷、通過(guò)對(duì)象的接口調(diào)用來(lái)判斷和通過(guò)HeapSpray檢測(cè)來(lái)判斷，這三種判斷方法保證了檢測(cè)的高準(zhǔn)確率。

　　web漏洞掃描有什么作用？

　　1、降低資產(chǎn)所面臨的風(fēng)險(xiǎn)

　　漏洞的典型特征：系統(tǒng)的缺陷/弱點(diǎn)、可能被威脅利用于違反安全策略、可能導(dǎo)致系統(tǒng)的安全性被破壞。 從信息安全風(fēng)險(xiǎn)評(píng)估規(guī)范GB/T 20984可以知道，分析風(fēng)險(xiǎn)的計(jì)算公式為：總風(fēng)險(xiǎn) = 威脅 * 漏洞(脆弱性) * 資產(chǎn)價(jià)值。 由此可見漏洞是計(jì)算風(fēng)險(xiǎn)的重要變量，漏洞越嚴(yán)重，資產(chǎn)面臨的風(fēng)險(xiǎn)越高。通過(guò)漏洞掃描及時(shí)發(fā)現(xiàn)漏洞，及時(shí)修復(fù)高危漏洞，能夠有效降低資產(chǎn)的風(fēng)險(xiǎn)。

　　2、滿足法律合規(guī)要求

　　2017年生效的網(wǎng)絡(luò)安全法，作為上位法，明確了中國(guó)實(shí)施網(wǎng)絡(luò)安全等級(jí)保護(hù)制度。而在網(wǎng)絡(luò)安全等級(jí)保護(hù)測(cè)評(píng)過(guò)程指南GB/T 28449-2018這一標(biāo)準(zhǔn)中，則明確給出了對(duì)于二/三/四級(jí)系統(tǒng)的測(cè)評(píng)要求，漏洞掃描無(wú)疑是已寫入其中的重要組成部分。

　　以上就是關(guān)于Web漏洞掃描原理是什么的相關(guān)解答，隨著計(jì)算機(jī)技術(shù)和信息技術(shù)的發(fā)展，Web應(yīng)用系統(tǒng)在各個(gè)領(lǐng)域都得到了廣泛的應(yīng)用。在網(wǎng)絡(luò)安全這塊，web漏洞掃描有獨(dú)特的作用，為企業(yè)減輕不少后顧之憂。想要了解更多關(guān)于Web漏洞掃描相關(guān)知識(shí)的，記得關(guān)注快快網(wǎng)絡(luò)。