1
| 本文作者： 史中 | 2016-10-20 14:30 |
我們的祖先凝望星河閃耀，卻花費(fèi)萬年時間才摸索出天體運(yùn)行規(guī)律。
我們的前輩坐看潮涌潮平，卻歷經(jīng)千秋萬代才能航行到大洋彼岸。
而我們自己，在這片土地上繁衍至今，卻仍舊對腳下的大地懵然無知。
從觀察記錄到規(guī)律預(yù)測，幾乎是人類科學(xué)史的全部邏輯。但每次我們拼盡全力記下的數(shù)據(jù)，都只是抬高知識瀚海的涓涓細(xì)流。當(dāng)我們提筆開始繁復(fù)演算的時候，期待的是阿基米德跳出浴缸、牛頓舉起蘋果的那一刻。
王偉濤博士正是這樣計算的執(zhí)筆人，他來自中國地震局。他想知道的，是我們腳下大地的每個細(xì)節(jié)。
【王偉濤】
我們經(jīng)歷的每一次地震，都在提醒自己預(yù)測和預(yù)警這種災(zāi)害的迫切性。但是，我們距離這個目標(biāo)還很遠(yuǎn)。為更好的認(rèn)識地震這一物理現(xiàn)象，需要極其的詳細(xì)的地殼結(jié)構(gòu)影像，而為了繪制這張地下地圖，又需要詳盡的數(shù)據(jù)計算。
目前為止人類打到地下最深的井是前蘇聯(lián)鉆探的科拉超深井，約12.2公里，但是地震的震源深度往往在地下十幾到幾十公里，當(dāng)前的科技根本無法在震源深度開展直接觀測。
所以我們需要依靠分布在全國的數(shù)千個地震臺來對地震波進(jìn)行探測，震波在地下的傳播特性，受到地質(zhì)結(jié)構(gòu)的影響，這也是地震波可以用來繪制地底圖像的原理。這些地震臺可以感知地震的“大震波”，也同樣可以捕捉日常的“大地噪聲”，例如海潮拍擊大陸的震動。
王偉濤說。
【根據(jù)地震波進(jìn)行地底成像的原理/圖片由王偉濤博士提供】
王偉濤告訴雷鋒網(wǎng)，像他這樣的地球物理科學(xué)家?guī)缀醵际前雮€程序員。因?yàn)閺牡卣鸩ǖ降氐壮上?，中間要經(jīng)過超越一般人想象的大規(guī)模程序計算。他的計算模型是這樣的：
每一次震動都會由近至遠(yuǎn)依次傳遞到各個地震臺，所以理論上來說，每個地震臺都會對同一次震動做出自己的記錄，這些數(shù)據(jù)既有差異有又聯(lián)系。利用這些數(shù)據(jù)，可以計算出一些“虛擬地震”。用每兩個地震臺之間進(jìn)行數(shù)據(jù)互相關(guān)對比計算，就可以獲取研究中國地下的總體結(jié)構(gòu)所需要的寶貴數(shù)據(jù)。
【虛擬地震可以模擬出和真實(shí)地震一樣的數(shù)據(jù)，所以可以用于本來沒有發(fā)生地震的地區(qū)的地底成像】
每個地震波數(shù)據(jù)都有 E，N，Z（東西，南北，垂直）三個向度的分量，全國2000多個永久和臨時地震臺就是 6000 個分量，每年的數(shù)據(jù)量大概是 30TB，而我們的總數(shù)據(jù)量已經(jīng)到了 PB 級別。由于我們要相互對比每一個地震臺每個時間點(diǎn)的每個分量數(shù)據(jù)，這些計算量是呈指數(shù)級增長的。
王偉濤的智慧和經(jīng)驗(yàn)，恰恰表現(xiàn)在他所設(shè)計的程序和算法之上。但耗費(fèi)很大心力完成這個算法的王偉濤博士發(fā)現(xiàn)，他才踏上了萬里長征的第一步，還有一個巨大的困難橫亙在面前。
【圖中每兩個地震臺之間的連線（灰色）都是需要計算的數(shù)據(jù)，總計算量極其龐大圖片由王偉濤博士提供】
如果使用單機(jī)對這些數(shù)據(jù)進(jìn)行計算，大概需要七年時間。按照一個人的職業(yè)生涯二十年計算的話，我在退休前只能完成三次計算。
在這種情況下，大規(guī)模分布式的云計算似乎成為了唯一的選擇。然而，云計算的機(jī)理絕不像聽起來這么輕盈。雷鋒網(wǎng)也采訪到了中國地震局的合作伙伴阿里云的童鞋們，在他們眼里，云計算和科學(xué)研究一樣，集合了人類最頂尖的智慧。
【所需存儲空間、計算量和預(yù)計單機(jī)計算所需的時間/數(shù)據(jù)由王偉濤博士提供】
“云存儲就像一個大的農(nóng)場，每個服務(wù)器就像一個工人，而你的數(shù)據(jù)就是羊。”
阿里云存儲高級專家承宗說?？磥硭莻€牧場達(dá)人。
“分布式存儲”，可以看作分布式計算的基礎(chǔ)條件。也就是說，你的羊要先放進(jìn)阿里云的“農(nóng)場”，它的工人才會幫你照料、喂養(yǎng)、剪毛、紡線。對于王偉濤博士的數(shù)據(jù)來說，僅僅是存儲在云端，就需要無數(shù)“黑科技”。
在將要進(jìn)行的計算中，計算系統(tǒng)會對存儲系統(tǒng)進(jìn)行大規(guī)模的訪問。而這些訪問必須要平均地打到服務(wù)器上，絕不能存在熱點(diǎn)。
而這還不夠，由于服務(wù)器的硬件故障在大規(guī)模集群中會變成一個常態(tài)事件，所以必須做好資源的實(shí)時調(diào)度和提供故障容忍能力。例如保證在摘掉一塊硬盤的時候，其余的硬盤要迅速用備份數(shù)據(jù)把存儲追齊。
承宗舉了以上兩個例子。這兩個例子換成農(nóng)場的比喻，大概是如下表述：
農(nóng)場對于工人的工作量要平均分配，絕不能出現(xiàn)“對著一個羊薅羊毛”的情況發(fā)生。
另外，農(nóng)場每天都有工人病倒、請假，要在最短的時間把他的工作合理分配給很多人，這樣別的工人也不至于負(fù)荷過大。
整個阿里云的分布式文件系統(tǒng)，被命名為盤古。在承宗心里，盤古還有很多智能化的“黑科技”。他舉例了一個例子：
我們?nèi)祟惪吹降拇疟P都一樣，但是盤古看到的磁盤各不相同。它會根據(jù)歷史訪問數(shù)據(jù)的積累，例如寫入的速度和效率，對每一塊磁盤的健康度進(jìn)行打分。對于健康狀況不好的磁盤，就相應(yīng)減輕一些工作分配。這些底層的技術(shù)，都可以為王偉濤博士下一步真正的計算做準(zhǔn)備。
承宗說，在分布式計算中，數(shù)據(jù)帶寬成為了一個重要的參數(shù)。從王偉濤博士的角度來看，如果把數(shù)據(jù)存儲在自己的服務(wù)器上，僅僅利用阿里云的計算能力進(jìn)行結(jié)果輸出，是不能實(shí)現(xiàn)的。原理很簡單，分布式計算的所有服務(wù)器都向一個存儲單位發(fā)送數(shù)據(jù)讀取請求，帶寬會被瞬間堵死，再強(qiáng)大的算力都無法發(fā)揮。
至于具體數(shù)據(jù)，百兆光纖的帶寬一般是 100Mb/s，而硬盤的帶寬最高可達(dá)幾Gb/s，而阿里云存儲內(nèi)網(wǎng)訪問帶寬（云計算系統(tǒng)內(nèi)部）可以高達(dá)Tb/s級別。
接下來，王偉濤博士的數(shù)據(jù)就會進(jìn)入最終計算的環(huán)節(jié)。
我熟悉了自己習(xí)慣的 Linux 系統(tǒng)，所有的計算代碼都是在這個環(huán)境中完成的，如何讓我的代碼在云計算的環(huán)境中發(fā)揮作用，是一個很重要的問題。
王偉濤說。
【王偉濤博士地底成像數(shù)據(jù)的計算流程】
在地震科學(xué)研究方面，阿里云顯然沒辦法提出算法建議，所以他們需要做的是，提供一個通用的接口，讓王偉濤可以使用自己機(jī)房中的電腦、界面和Linux 系統(tǒng)，來對云上的計算進(jìn)行控制。
阿里云提供的兼容和適配能力，是阿里計算專家林河山頗為驕傲的地方。
王博士在此之前沒有使用過分布式集群，也沒有使用過“超算”，所以直接跨越到云上，從操作和控制層面來說，對他來說會是個挑戰(zhàn)。我們提供的計算接口可以讓單機(jī)程序不做修改就高效執(zhí)行在云環(huán)境下。用戶通過幾句簡單的命令就能在云上調(diào)動大規(guī)模的計算資源進(jìn)行分析，而不需要學(xué)習(xí)復(fù)雜的分布式計算知識。
其實(shí)很多從其他地方過渡到云計算的人都會有這樣的問題，所以不僅是王博士，很多其他用戶也會用到我們的通用計算接口。
他說。
這個時候，大規(guī)模計算的障礙基本被掃清了。不過，林河山告訴雷鋒網(wǎng)，云計算真正的核心技術(shù)，還在于批量計算的算力調(diào)度之上。
【大規(guī)模計算的加速流程和模式】
計算規(guī)模擴(kuò)大之后，就會造成對存儲資源的訪問非常頻繁，這時，對于訪問的并發(fā)量的控制就要非常“小心”了。
王博士的應(yīng)用有非常多的小I/O請求，如果每一次I/O請求都直接訪問云存儲，由此帶來的延時會對計算效率造成影響。為了進(jìn)一步優(yōu)化計算性能，批量計算采取了“分布式緩存”的策略，把有可能會用到的數(shù)據(jù)，提前緩存到計算節(jié)點(diǎn)周圍。這樣，就可以讓計算能力不受集群規(guī)模的限制。
林河山說。
而即使是這樣，還遠(yuǎn)遠(yuǎn)不夠，對于數(shù)據(jù)訪問究竟采取多大“粒度”，是考驗(yàn)系統(tǒng)智能的重要時刻。如果一次讀取過多，可能造成帶寬擁堵，如果一次讀取過少，又會造成頻繁訪問。而針對不同類型的數(shù)據(jù)，都要做出合理的預(yù)判，自動地讀取，是一項(xiàng)艱巨的任務(wù)。
打個比方：
這如同建造一座金字塔，數(shù)萬名“奴隸”要分工合作。工程師要決定：是犧牲速度一次性運(yùn)輸多個石塊到現(xiàn)場，還是犧牲數(shù)量，一次快速運(yùn)輸一塊石頭到現(xiàn)場。
同樣，面對浩瀚的金字塔工程，每時每刻要分配多少奴隸來攪拌砂漿，分配多少奴隸來搬運(yùn)石塊，分別分配多少奴隸來負(fù)責(zé)建造各個區(qū)塊，這個即使是工程師都需要仔細(xì)考量才能完成的任務(wù)，都要交給系統(tǒng)自動完成，難度可想而知。
當(dāng)然，如此繁復(fù)的計算過程，出錯是經(jīng)常會發(fā)生的。林河山舉了一個例子：
在渲染追光動畫的動畫片《小門神》時，阿里云的容錯機(jī)制就發(fā)揮了作用。（當(dāng)時在峰值有 2000臺服務(wù)器參與了大規(guī)模批量計算。）
一般情況下， 對于視頻的渲染工作是一個連續(xù)的長流程。如果某一幀渲染中哪怕只有一個節(jié)點(diǎn)出問題，都會造成訪問的大規(guī)模延時，造成邏輯上的擁堵，產(chǎn)生“熱點(diǎn)”。
林河山說：“阿里云的做法是，在計算出錯之后，在最短的時間內(nèi)重跑，如果在跑的過程中確認(rèn)節(jié)點(diǎn)存在問題，還會自動調(diào)度到另一個地方，這些對于用戶來說都是沒有感知的，但是在背后，我們必須做出大量的努力。
原本需要一年計算時間的整個中國數(shù)千個地震臺兩兩之間的五年數(shù)據(jù)的計算任務(wù)，在云計算中狂飆，48小時之內(nèi)就計算完成了。
【地球內(nèi)部成像，恰似人體的B超】
這在云計算時代來臨以前是無法想象的。
從科學(xué)研究的角度來看，這些數(shù)據(jù)是原始的地震觀測數(shù)據(jù)的數(shù)據(jù)產(chǎn)品，同時也是后續(xù)科學(xué)研究所依賴的重要數(shù)據(jù)，可以很好地支撐王偉濤進(jìn)行接下來的研究。從外界看來計算過程非常順利，而剛才我們所感受的一切艱辛，都只發(fā)生在背后的代碼世界。
【各個步驟耗時統(tǒng)計/圖片由王偉濤博士提供】
借用阿里云產(chǎn)品總監(jiān)李津的話：
當(dāng)計算結(jié)果輸出的時候，我們所有的技術(shù)人員都沉默了。我們多么渴望這樣的數(shù)據(jù)早幾十年被計算出來，這樣我們就能為人類認(rèn)識地震這一自然災(zāi)害爭取寶貴的時間。
拋開商業(yè)的云霧，可以看到云計算真正的的鋒利所在。
王偉濤的研究并沒有停止，他說：
目前為止，我只做了2011年到2015年的一個向度上的數(shù)據(jù)分析，未來還會繼續(xù)把更多向度和頻率上的數(shù)據(jù)進(jìn)行計算?？茖W(xué)研究的精確度是可以一直提高的。越來越精確的地底數(shù)據(jù)，會為礦產(chǎn)勘探、防震減災(zāi)和地震科學(xué)研究提供非常強(qiáng)的支持。
科學(xué)的有趣之處，正是在于不斷地嘗試。有可能一覺醒來想到新的方法，就要重新改寫公式和代碼，通過計算進(jìn)行驗(yàn)證。
也許有一天，屬于王偉濤的那只蘋果會悄然落下。那一刻，是王偉濤的勝利，也同樣是人類計算力的勝利。
我們傾盡全力提高算力，把數(shù)據(jù)的涓涓細(xì)流匯聚成洪荒之力，只是因?yàn)槲覀儾辉笇δ_下的大地懵然無知。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
