0
| 本文作者： 李尊 | 2016-08-09 19:10 |
導(dǎo)讀：美劇《紙牌屋》中提到——96%的互聯(lián)網(wǎng)數(shù)據(jù)無法通過標準搜索引擎訪問，其中大部分屬于無用信息，但隱藏在表層之下的有許許多多你無法想象的內(nèi)容，包括：兒童販賣、比特幣洗錢、致幻劑、系統(tǒng)漏洞、賞金黑客等等。
對于普通人來說，暗網(wǎng)（Darknet或Dark Web）、深網(wǎng)（Deepnet或Deep web）這兩個名詞可能從來沒有聽說過。暗網(wǎng)（Darknet或Dark Web）是指只使用非常規(guī)協(xié)議和端口以及可信節(jié)點進行連接的私有網(wǎng)絡(luò)。與其他分布式點對點網(wǎng)絡(luò)不同的是，暗網(wǎng)的數(shù)據(jù)傳輸是匿名進行的。當今互聯(lián)網(wǎng)上的搜索服務(wù)可比喻為像在地球的海洋表面的拉起一個大網(wǎng)的搜索，巨量的表面信息固然可以通過這種方式被查找得到，可是還有相當大量的信息由于隱藏在深處而被搜索引擎錯失掉。絕大部分這些隱藏的信息是須通過動態(tài)請求產(chǎn)生的網(wǎng)頁信息，而標準的搜索引擎卻無法對其進行查找。傳統(tǒng)的搜索引擎“看”不到，也獲取不了這些存在于深網(wǎng)的內(nèi)容，除非通過特定的搜查這些頁面才會動態(tài)產(chǎn)生。于是相對的，深網(wǎng)就隱藏了起來。所有暗網(wǎng)的集合組成了深網(wǎng)（Deepnet或Deep web）的一部分。據(jù)估計，深網(wǎng)要比表面網(wǎng)站大幾個數(shù)量級。
它其實與我們的網(wǎng)絡(luò)生活息息相關(guān)，特別是安全方面。讓我們先來看一個案例：
早在2015年2月，微軟在Windows操作系統(tǒng)中發(fā)現(xiàn)了一個嚴重的漏洞，該漏洞可能會導(dǎo)致惡意攻擊者遠程控制目標電腦（俗稱“肉雞”）。這個漏洞影響了大量的Windows操作系統(tǒng)（包括Vista,、7、8以及其他Windows Server服務(wù)器系統(tǒng)和Windows mobile系統(tǒng)）。
微軟馬上發(fā)布了補丁進行修復(fù)，但是沒過多久這個漏洞就已經(jīng)在黑客社區(qū)傳播開了。
4月，網(wǎng)絡(luò)安全專家發(fā)現(xiàn)基于這個漏洞的exploit已經(jīng)在暗網(wǎng)（darknet）市場上進行公開出售，要價在$15,000美元左右。7月，基于這個漏洞開發(fā)的惡意軟件被報告出現(xiàn)。該惡意軟件“Dyre Banking Trojan”目標針對全世界的用戶，想從被感染的計算機上盜取用戶的信用卡相關(guān)信息。
暗網(wǎng)上某交易市場
這一案例恰好提供了惡意軟件從來源到發(fā)展成型的關(guān)鍵過程，在短短幾個月內(nèi)，黑客將一個漏洞變成了exploit，然后將其打包出售，再后就可以看到其變成了惡意軟件被釋放到全球的互聯(lián)網(wǎng)中。
在該案例中，微軟察覺并找出了那個漏洞，并在它被利用在惡意軟件中之前發(fā)布了一個補丁。但是如果惡意軟件利用的是軟件未知的漏洞，相關(guān)的開發(fā)者就必須馬上發(fā)布相應(yīng)的補丁（基本上是在同一天內(nèi)），所以也有個名字叫“0day攻擊”。
針對這一類型的網(wǎng)絡(luò)安全犯罪，對于網(wǎng)絡(luò)安全專家來說關(guān)鍵的目標是在一個漏洞被惡意軟件利用之前0day內(nèi)將它找出來。Dyre Banking Trojan的案例對于Eric Nunes以及他在Arizona State University的同事來說，這給了他們重要的啟示。
今天他們宣布了一個新的智能采集系統(tǒng)，它能在暗網(wǎng)（dark web）和深網(wǎng)（deep net）中使用機器學(xué)習(xí)來研究黑客論壇以及他們的交易市場。該系統(tǒng)能搜尋潛在漏洞的線索。
他們的系統(tǒng)一開始的表現(xiàn)就十分亮眼，Nunes和他的同事提到“目前，系統(tǒng)平均每周都能找到超過305個高質(zhì)量的網(wǎng)絡(luò)威脅?！?/p>
使用深度學(xué)習(xí)的漏洞搜索引擎十分罕見，讓我們先來了解一下背景資料。那些黑客以及一些不懷好意的人一般傾向于將它們的論壇和交易市場在互聯(lián)網(wǎng)中隱藏起來，一般來說有好幾種方式。第一種是依賴于廣泛使用的Tor軟件（該軟件是著名的匿名代理工具，由 開發(fā)）來掩蓋自己在互聯(lián)網(wǎng)上的行跡，防止被追蹤。這個被稱為“暗網(wǎng)（Darknet或Dark Web）”
第二種使用的是那些開放網(wǎng)絡(luò)中沒有被搜索引擎收錄的地址，這個被稱為“深網(wǎng)（Deepnet或Deep web）”，這些網(wǎng)站一般很難被找到（也很難登錄上去）。
為了監(jiān)視黑客在這兩個地方上的活動，Nunes和他的同事開發(fā)了一個特定的爬蟲來抓取暗網(wǎng)（dark web）和深網(wǎng)（deep net）上的信息。顯然，這份工作中的關(guān)鍵步驟是給爬蟲指定的開始頁面，顯然這項任務(wù)必須由那些對這些暗網(wǎng)、深網(wǎng)信息十分熟悉的人來進行。該研究小組隨機開始在暗網(wǎng)、深網(wǎng)中將與黑客行為相關(guān)的特征信息提取出來（要篩選掉那些毒品、槍支等等其他信息）。
最后，他們使用機器學(xué)習(xí)算法來檢測相關(guān)站點上的討論的物品和主題信息。他們使用的機器學(xué)習(xí)原理是通過手工標記約25%的數(shù)據(jù)，表明哪些相關(guān)、哪些無關(guān)，然后該機器學(xué)習(xí)算法通過自主學(xué)習(xí)剩下的相關(guān)數(shù)據(jù)并進行判斷。對于人類來說需要一分鐘來標記五個交易市場或者相關(guān)論壇上的兩個主題，但是讓機器學(xué)習(xí)算法來干的話這個時間可以大大縮小。
利用機器學(xué)習(xí)查找暗網(wǎng)、深網(wǎng)中信息示意圖
最后的結(jié)果相當有趣，Nunes和他的同事提到“使用機器學(xué)習(xí)模型之后，我們能夠以相當高的精度查探到相關(guān)交易市場上92%的相關(guān)信息以及論壇中80%的與惡意攻擊有關(guān)的討論信息?！?/p>
這項技術(shù)早已揭露了大量的惡意攻擊活動，Nunes和他的同事提到“在過去的四個星期中，我們在交易市場數(shù)據(jù)中檢測到16個0day漏洞?！边@其中包括一個重大的安卓（Android）漏洞（它被打包約20000美元出售）以及一個IE11瀏覽器的漏洞（它被打包月約10000美元出售）。
他們同樣發(fā)現(xiàn)了使用這些論壇和交易區(qū)的黑客的行蹤，據(jù)稱有751個用戶同時出現(xiàn)在一個交易區(qū)，并且有一個賣家同時出現(xiàn)在7個交易區(qū)中，在其中一個交易區(qū)中提供超過80個惡意軟件產(chǎn)品?！霸撡u家得到的評分平均在4.7/5.0，該評分由所有與他交易過的買家評價得來，根據(jù)相關(guān)信息他在暗網(wǎng)中曾進行超過7000次交易。”Nunes和他的同事提到。
對于打擊網(wǎng)絡(luò)犯罪來說這是相當關(guān)鍵的一步，目前使用該機器學(xué)習(xí)模型每周能識別超過300次網(wǎng)絡(luò)威脅，該系統(tǒng)早已吸引到相關(guān)業(yè)界公司的注意。如果他們的研究團隊接下來能繼續(xù)在漏洞被惡意軟件利用之前0day識別出來的話，那么他們就能幫助相關(guān)的軟件開發(fā)者迅速開發(fā)出相應(yīng)的補丁，這對于安全專家來說是相當重要的幫助。
道高一尺，魔高一丈。在網(wǎng)絡(luò)安全上這最終還是會否變成一個貓鼠游戲？我們不禁思考，當黑客們意識到他們會被機器學(xué)習(xí)算法這樣監(jiān)測之后肯定會改變他們的活動方式，到那時機器學(xué)習(xí)算法是否還能高精度的進行監(jiān)控識別呢？
via MIT Tech Review
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
