hihttps是一款免費(fèi)的web應(yīng)用防火墻，既支持傳統(tǒng)的WAF的OWASP特征工程檢查（如SQL注入、XSS、惡意漏洞掃描、密碼破解、CC、DDOS等），也支持機(jī)器采集樣本無(wú)監(jiān)督學(xué)習(xí)，自主對(duì)抗，重新定義web安全。今天筆者就從web安全的角度，介紹機(jī)器學(xué)習(xí)之樣本采集。

公司主營(yíng)業(yè)務(wù)：成都做網(wǎng)站、成都網(wǎng)站設(shè)計(jì)、移動(dòng)網(wǎng)站開(kāi)發(fā)等業(yè)務(wù)。幫助企業(yè)客戶(hù)真正實(shí)現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競(jìng)爭(zhēng)能力。創(chuàng)新互聯(lián)是一支青春激揚(yáng)、勤奮敬業(yè)、活力青春激揚(yáng)、勤奮敬業(yè)、活力澎湃、和諧高效的團(tuán)隊(duì)。公司秉承以“開(kāi)放、自由、嚴(yán)謹(jǐn)、自律”為核心的企業(yè)文化，感謝他們對(duì)我們的高要求，感謝他們從不同領(lǐng)域給我們帶來(lái)的挑戰(zhàn)，讓我們激情的團(tuán)隊(duì)有機(jī)會(huì)用頭腦與智慧不斷的給客戶(hù)帶來(lái)驚喜。創(chuàng)新互聯(lián)推出白云免費(fèi)做網(wǎng)站回饋大家。

一、 究竟什么是web？
網(wǎng)絡(luò)安全專(zhuān)家通常認(rèn)為：web惡意很多是有其特殊的URL特征，如
惡意掃描 GET /hihttps?cat ../…/../etc/passwd
SQL注入 GET /hihttps?user=123' or 1='1
XSS GET /hihttps?user=<script>alert(1);</script>a
......這類(lèi)確實(shí)有非常典型的特征，傳統(tǒng)的waf和規(guī)則就可以防御。

那么下面的URL呢？
GET /hihttps?user=ls123
GET /hihttps?user=%0Als
……準(zhǔn)確說(shuō)，這類(lèi)網(wǎng)絡(luò)安全專(zhuān)家也認(rèn)為是正常的請(qǐng)求，或者說(shuō)無(wú)法辨別是否惡意***。

問(wèn)題就來(lái)了，像GET /hihttps?user=ls123就一定是正常的請(qǐng)求嗎？不一定。
比如CVE-2019-11043高位漏洞：向Nginx + PHP-FPM的服務(wù)器 URL發(fā)送 %0a 時(shí)，可以執(zhí)行任意遠(yuǎn)程命令，從而控制整個(gè)服務(wù)器。也就是說(shuō)：GET /hihttps?user=%0Als在某些環(huán)境就是一條成功的***，并且執(zhí)行了linux的ls命令；如果服務(wù)器沒(méi)安裝Nginx+PHP，也可以認(rèn)為是無(wú)害的。

再進(jìn)一步，如果網(wǎng)站上根本沒(méi)有hihttps這個(gè)接口，那就是惡意掃描，一定要檢測(cè)出來(lái)并阻斷。但傳統(tǒng)的方法肯定不行了，那么機(jī)器學(xué)習(xí)將是唯一的辦法。

二、 機(jī)器學(xué)習(xí)重新定義網(wǎng)絡(luò)安全
和圖形圖像的機(jī)器學(xué)習(xí)相比，web安全采集樣本的成本是最低的，因?yàn)橹灰衍浖诜?wù)器上運(yùn)行即可采集，甚至讀取web日志文件，就可以拿到大量的樣本，而成本幾乎是0。
但**樣本太稀缺了，根本無(wú)法拿完并且日新月異，從這個(gè)角度也可以說(shuō)無(wú)監(jiān)督或者半監(jiān)督學(xué)習(xí)，才是未來(lái)web安全的發(fā)展方向。下面舉例：

如果從web服務(wù)器上http:// www.hihttps.com/hihttps.html?id=123，采集到的樣本參數(shù)大于99.9%都是“?id=數(shù)字”這種形態(tài)，那么可以認(rèn)為下面的網(wǎng)址都視為：
http://www.hihttps.com/hihttps.html?id=123' or 1='1
http:// www.hihttps.com /hihttps.html?id=<script>alert(1);</script>
http:// www.hihttps.com /hihttps.html?id=1234567890&t=123
http:// www.hihttps.com /hihttps.html?id=abc
后面兩條網(wǎng)址，在傳統(tǒng)的waf是不可能檢測(cè)的，只有機(jī)器學(xué)習(xí)才能準(zhǔn)確檢測(cè)出。所以機(jī)器學(xué)習(xí)的核心是：不是我服務(wù)器上的東西，都視為非法，這樣有可能阻止未知漏洞和未知。這樣，web安全的概念和傳統(tǒng)的特征工程完全不一樣了，機(jī)器學(xué)習(xí)重新定義了網(wǎng)絡(luò)安全。

三、 樣本采集原則
1、足夠的隨機(jī)化，在不同的IP地址之間隨機(jī)采集。
2、足夠多的樣本，保證99.99%的正確率，至少需要采集數(shù)萬(wàn)份的樣本。
3、足夠的時(shí)間，至少在不同的時(shí)間段采集3-7天的樣本。
4、盡量是正常流量，樣本沒(méi)有被**污染。
5、完整的數(shù)據(jù)，樣本包括全部的HTTP 請(qǐng)求頭和body。

所以從web日志里面來(lái)讀取樣本數(shù)據(jù)是有限的，最好用WAF實(shí)際部署方式來(lái)采集。對(duì)于SSL加密的樣本采集通常用反向代理方式采集，可以參考hihttps源碼https://github.com/qq4108863
四、總結(jié)
1、現(xiàn)在的網(wǎng)絡(luò)都基于邏輯漏洞進(jìn)行APT，傳統(tǒng)的waf規(guī)則很難對(duì)付未知漏洞和未知。
2、讓機(jī)器像人一樣學(xué)習(xí)，具有一定智能自動(dòng)對(duì)抗APT或許是唯一有效途徑。但***技術(shù)本身就是人類(lèi)最頂尖智力的較量，WEB安全仍然任重而道遠(yuǎn)，
3、幸好hihttps這類(lèi)免費(fèi)的應(yīng)用防火墻在機(jī)器學(xué)習(xí)、自主對(duì)抗中開(kāi)了很好一個(gè)頭，未來(lái)web安全很可能是特征工程+機(jī)器學(xué)習(xí)共同完成，筆者將在下一篇文章中介紹怎么從樣本中提取特征，自動(dòng)生成對(duì)抗規(guī)則，未來(lái)WEB安全必然是AI的天下。

當(dāng)前標(biāo)題：從免費(fèi)的WEB應(yīng)用防火墻hihttps談機(jī)器學(xué)習(xí)之樣本采集
鏈接分享：http://jinyejixie.com/article28/gdpgcp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、微信小程序、軟件開(kāi)發(fā)、面包屑導(dǎo)航、網(wǎng)站營(yíng)銷(xiāo)、自適應(yīng)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)