保守估計(jì)，互聯(lián)網(wǎng)約50%~60%的流量由網(wǎng)絡(luò)機(jī)器人貢獻(xiàn)，航空票務(wù)、政府公示、社保信息、公積金信息、招聘簡(jiǎn)歷等，都是網(wǎng)絡(luò)爬蟲的重災(zāi)區(qū)。網(wǎng)絡(luò)爬蟲不但虛耗資源，影響正常用戶體驗(yàn)，還容易導(dǎo)致信息泄露，無(wú)效營(yíng)銷等，企業(yè)和個(gè)人都受損。 如何建設(shè)網(wǎng)絡(luò)機(jī)器人實(shí)時(shí)立體防控體系，成為很多企業(yè)關(guān)心的問(wèn)題。

本次公開課，雷鋒網(wǎng)宅客頻道（微信公眾號(hào)：letshome）邀請(qǐng)了邦盛科技技術(shù)總監(jiān)李白分享他和他的團(tuán)隊(duì)如何利用數(shù)據(jù)、技術(shù)、規(guī)則、模型、產(chǎn)品來(lái)建設(shè)網(wǎng)絡(luò)機(jī)器人實(shí)時(shí)識(shí)別與防護(hù)體系。

嘉賓介紹

李白，浙江邦盛科技的技術(shù)總監(jiān)，主要負(fù)責(zé)實(shí)時(shí)大數(shù)據(jù)處理、分析、智能決策技術(shù)領(lǐng)域的研究與實(shí)踐，致力將實(shí)時(shí)大數(shù)據(jù)賦能與業(yè)務(wù)場(chǎng)景的結(jié)合與落地實(shí)踐。做為資深的業(yè)務(wù)安全專家，長(zhǎng)期專注爬蟲行為分析、識(shí)別、防護(hù)、對(duì)抗，擁有豐富的實(shí)踐經(jīng)驗(yàn)和技術(shù)積累。

以下是公開課總結(jié)文實(shí)錄+視頻，在不妨礙原意的表達(dá)上，雷鋒網(wǎng)宅客頻道略有刪節(jié)，視頻附在文末：

若想獲得此次公開課完整 PPT，請(qǐng)關(guān)注微信公眾號(hào)宅客頻道（微信ID：letshome），回復(fù)“網(wǎng)絡(luò)機(jī)器人 ”。

內(nèi)容介紹

本期雷鋒網(wǎng)硬創(chuàng)公開課包含但不限于以下內(nèi)容：

網(wǎng)絡(luò)機(jī)器人發(fā)展現(xiàn)狀趨勢(shì)及特點(diǎn)，以及給我們帶來(lái)的危害分析。

大數(shù)據(jù)時(shí)代，如何利用數(shù)據(jù)、技術(shù)、規(guī)則、模型、產(chǎn)品技術(shù)，精準(zhǔn)識(shí)別已擬人化的網(wǎng)絡(luò)機(jī)器人。

以某大型票務(wù)網(wǎng)站威力，介紹網(wǎng)絡(luò)機(jī)器人立體識(shí)別與防控的技術(shù)架構(gòu)和運(yùn)維流程。

如何從前端、后端，規(guī)則模型及運(yùn)維等方面，建設(shè)網(wǎng)絡(luò)機(jī)器人實(shí)時(shí)識(shí)別與防范體系。

今天我想和大家從以下幾個(gè)方面來(lái)探討：首先要談到的是網(wǎng)絡(luò)機(jī)器人也就是各種各樣的爬蟲所帶來(lái)的風(fēng)險(xiǎn)；在其帶來(lái)風(fēng)險(xiǎn)的同時(shí)，市場(chǎng)也會(huì)有識(shí)別和防護(hù)的需求，如何識(shí)別與防護(hù)網(wǎng)絡(luò)爬蟲？我會(huì)結(jié)合具體案例來(lái)講解；另外還有攻防對(duì)抗過(guò)程中的一些心得體會(huì)，以及將來(lái)為保證解決方案持續(xù)有效我們應(yīng)該怎么做。

網(wǎng)絡(luò)機(jī)器人風(fēng)險(xiǎn)

這是一張過(guò)去四年的網(wǎng)絡(luò)流量分布圖，可以看到非人類也就是網(wǎng)絡(luò)機(jī)器人在互聯(lián)網(wǎng)上貢獻(xiàn)的流量是持續(xù)上升的，而這些流量覆蓋領(lǐng)域也各式各樣，包括航空票務(wù)、政府公示、港口物流、招聘簡(jiǎn)歷、金融理財(cái)、社交網(wǎng)絡(luò)……

這些網(wǎng)絡(luò)機(jī)器人所帶來(lái)的風(fēng)險(xiǎn)可以簡(jiǎn)單劃分為幾個(gè)方面：

對(duì)票務(wù)行業(yè)來(lái)說(shuō)，網(wǎng)絡(luò)黃牛占票大行其道，企業(yè)和用戶利益受損

「薅羊毛產(chǎn)業(yè)」興盛，企業(yè)營(yíng)銷經(jīng)費(fèi)低效轉(zhuǎn)化

商業(yè)信息泄露，陷入不正當(dāng)競(jìng)爭(zhēng)

對(duì)于系統(tǒng)工程師來(lái)說(shuō)，暴力訪問(wèn)，威脅系統(tǒng)可用性

影響真實(shí)用戶訪問(wèn)體驗(yàn)

網(wǎng)絡(luò)資源虛耗，流量無(wú)效轉(zhuǎn)化

也正因?yàn)樯鲜鰣?chǎng)景下網(wǎng)絡(luò)機(jī)器人肆虐，國(guó)家開始出臺(tái)一系列法律法規(guī)，總體可分為兩個(gè)層面：

一方面作為數(shù)據(jù)的擁有者，有責(zé)任和義務(wù)通過(guò)種種手段保障網(wǎng)絡(luò)數(shù)據(jù)的完整性、保密性和可用性。

另一方面從數(shù)據(jù)的爬取方來(lái)說(shuō)，未經(jīng)授權(quán)爬取某些數(shù)據(jù)屬于違法行為，比如未經(jīng)授權(quán)讀取用戶手機(jī)通訊錄超過(guò)50條記錄，公司法人最高可獲刑3年；未經(jīng)授權(quán)讀取用戶公積金社保記錄的超過(guò)5萬(wàn)條的，公司法人最高可獲刑7年……

網(wǎng)絡(luò)機(jī)器人的識(shí)別與防護(hù)

網(wǎng)絡(luò)機(jī)器人即在互聯(lián)網(wǎng)環(huán)境中，通過(guò)自動(dòng)化的程序?qū)崿F(xiàn)對(duì)互聯(lián)網(wǎng)數(shù)據(jù)資源、數(shù)字資產(chǎn)等信息的智能化獲取，現(xiàn)代爬蟲有三大特征：自動(dòng)化、智能化、擬人化，其可以細(xì)分為數(shù)據(jù)爬蟲、占票工具、撞庫(kù)工具、比價(jià)工具、刷單工具等。

現(xiàn)代爬蟲會(huì)通過(guò)模擬真人發(fā)起請(qǐng)求，具體模擬有三種方式：報(bào)文模擬，終端模擬，行為模擬。

而隨著攻防不斷演進(jìn)，企業(yè)對(duì)抗手段也有了變化。

具體可分為以下幾個(gè)里程：

人工運(yùn)維

在這個(gè)階段，企業(yè)面臨的攻擊節(jié)奏不快，網(wǎng)站流量不大，數(shù)據(jù)吸引力沒有廣而告之。此時(shí)網(wǎng)站或企業(yè)通過(guò)人工運(yùn)維，持續(xù)投入人力分析流量，根據(jù)簡(jiǎn)單規(guī)則，建立各維度訪問(wèn)主體的黑庫(kù)，持續(xù)更新。

傳統(tǒng)信息安全

隨著流量的增加，企業(yè)自然而然開始考慮運(yùn)用一些網(wǎng)絡(luò)安全手段，比如網(wǎng)絡(luò)防火墻、IPS、IDS、應(yīng)用防火墻，但這些傳統(tǒng)防護(hù)手段對(duì)有著明顯爬蟲特征的網(wǎng)絡(luò)機(jī)器人有用，而隨著爬蟲愈來(lái)愈智能化、擬人化，其報(bào)文會(huì)十分接近正常人，因此這些傳統(tǒng)安全手法效果有限。

業(yè)務(wù)層應(yīng)對(duì)

在這一階段，企業(yè)防守開始走向業(yè)務(wù)層應(yīng)對(duì)，業(yè)務(wù)應(yīng)用埋點(diǎn)邏輯，通過(guò)驗(yàn)證碼、前端混淆、服務(wù)端檢測(cè)等技術(shù)，對(duì)真人與機(jī)器人進(jìn)行區(qū)分。

立體式實(shí)時(shí)識(shí)別與防護(hù)

而在目前身處的這一階段，企業(yè)需要講數(shù)據(jù)、技術(shù)、規(guī)則、模型、產(chǎn)品、服務(wù)等一系列結(jié)合起來(lái)進(jìn)行對(duì)抗。

思路探討

事實(shí)上，永恒的安全是不可能的。攻防不斷演進(jìn)是機(jī)器人防護(hù)永恒的主題，其實(shí)質(zhì)是人與人，AI 與 AI 的對(duì)抗。而不管是從前端還是后端，以及風(fēng)控規(guī)則模型，包括持續(xù)運(yùn)維，是一個(gè)立體式的防護(hù)。

后續(xù)我們也進(jìn)行了一些思考，首先數(shù)據(jù)要與場(chǎng)景結(jié)合，業(yè)務(wù)模式?jīng)Q定了模型上限。而我們需不斷通過(guò)優(yōu)化算法以及特征工程訓(xùn)練這一模型。這是一個(gè)無(wú)限逼近上限的過(guò)程，但我們?cè)陂_始時(shí)就應(yīng)將上限拔高。

另外，一些與業(yè)務(wù)場(chǎng)景結(jié)合在一起的技術(shù)也可以抽取出來(lái)進(jìn)行訓(xùn)練，比如我們?cè)谧龅囊恍┝魇酱髷?shù)據(jù)計(jì)算、基于規(guī)則模型的智能決策、實(shí)時(shí)的數(shù)據(jù)可視化等。

從安全合規(guī)角度更要保證內(nèi)部敏感數(shù)據(jù)不外泄，外圍輔助數(shù)據(jù)本地化。

問(wèn)答環(huán)節(jié)：

1.目前航企遭受的爬蟲攻擊多來(lái)自哪里？

答：主要來(lái)自同行業(yè)的競(jìng)爭(zhēng)，比如 A 航空公司利用爬蟲占據(jù)了 B 航空公司全部低價(jià)票，而 B 公司只有高價(jià)票可售，這種情況下多數(shù)用戶會(huì)選擇其他公司（如 A 公司）購(gòu)票。另外在提直降代后，一些黑代理或者一些資質(zhì)不全的代理，也要有一定的生財(cái)之道，所以其會(huì)通過(guò)各種爬蟲工具進(jìn)行占票轉(zhuǎn)而高價(jià)出售。同時(shí) OTA 網(wǎng)站之間為了獲取更多客戶也會(huì)互相爬取對(duì)方價(jià)格保證自己合理定價(jià)。

2.運(yùn)用多種手段識(shí)別打擊網(wǎng)絡(luò)機(jī)器人，如何提升準(zhǔn)確率？

答：這是一個(gè)很關(guān)鍵的問(wèn)題，我們做這件事的目的就是為了提升識(shí)別準(zhǔn)確率。那要如何提升準(zhǔn)確率？我認(rèn)為一定要利用人工智能來(lái)優(yōu)化查準(zhǔn)率和查全率，比如我們會(huì)基于專家規(guī)則，以此為基礎(chǔ)通過(guò)機(jī)器學(xué)習(xí)，加之以深度學(xué)習(xí)優(yōu)化模型。

另外從場(chǎng)景來(lái)看，也可以采用多種不同級(jí)別的管控手段，除了封IP，也考慮加入動(dòng)態(tài)的驗(yàn)證碼，或者限速、限流、延遲到達(dá)等等。

3.請(qǐng)問(wèn)是否使用了決策引擎和規(guī)則引擎？

答：是的，我們使用了決策和規(guī)則雙核引擎。

視頻回放地址：http://www.mooc.ai/open/course/413

若想獲得此次公開課完整 PPT，請(qǐng)關(guān)注微信公眾號(hào)宅客頻道（微信ID：letshome），回復(fù)“網(wǎng)絡(luò)機(jī)器人 ”。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。