0
| 本文作者： 黃錦 | 2018-08-27 19:54 |
雷鋒網(wǎng)按：本文來(lái)自Medium，由雷鋒網(wǎng)編譯。
一直以來(lái)，NeuroNuggets和Neuromation Research系列文章都致力于向讀者介紹其優(yōu)秀團(tuán)隊(duì)的人工智能研究人員。
今天他們要介紹的就是曾獲Kaggle Master的Alexander Rakhlin。Alexander是一位深度學(xué)習(xí)專家，專門(mén)研究與醫(yī)療影像相關(guān)的問(wèn)題，涵蓋了包括圖像分割、物體檢測(cè)和廣義上的卷積神經(jīng)網(wǎng)絡(luò)等領(lǐng)域。
而且就在最近有一個(gè)好消息，Alexander的合著論文《使用深度卷積神經(jīng)網(wǎng)絡(luò)的兒童骨齡評(píng)估》被第四屆醫(yī)療影像分析大會(huì)的深度學(xué)習(xí)研討會(huì)收錄（DLMIA 2018）。這已經(jīng)不是第一篇Neuromation旗下專門(mén)研究醫(yī)療影像的論文了，所以我們正好可以利用這個(gè)機(jī)會(huì)來(lái)討論下他們醫(yī)療研究工作的細(xì)節(jié)。
骨骼年齡，或者說(shuō)骨齡，本質(zhì)上就是說(shuō)你的骨頭看起來(lái)有多大歲數(shù)。
隨著一個(gè)孩子不斷長(zhǎng)大，他/她的骨骼也會(huì)隨之成長(zhǎng)和成熟，這就意味著：通過(guò)觀察孩子們的骨骼，我們可以估計(jì)出孩子擁有某種骨骼形態(tài)的平均年齡，從而了解孩子的真實(shí)年齡?？吹竭@里，你會(huì)不會(huì)想問(wèn)這篇文章是不是關(guān)于考古學(xué)的：活生生的孩子們通常不會(huì)去拍什么X光，除非沒(méi)有人知道他們什么時(shí)候出生的。
是也不是。如果孩子發(fā)育正常，骨齡應(yīng)該在實(shí)際年齡的10%以內(nèi)，但是也有例外。有一些例外是無(wú)害的，但是最好也心知肚明：比如，你的孩子在青春期的快速成長(zhǎng)與骨齡有關(guān)。因此，如果骨齡比實(shí)際年齡大幾年，孩子會(huì)更早的停止生長(zhǎng)，如果骨頭比實(shí)際年齡“年輕”幾年，快速生長(zhǎng)則會(huì)延遲到來(lái)。此外，考慮到現(xiàn)在的身高和骨齡，已經(jīng)可以相當(dāng)準(zhǔn)確地預(yù)測(cè)一個(gè)孩子最終的成年身高了，這點(diǎn)是會(huì)派上用場(chǎng)的：如果你的孩子喜歡籃球，你可能會(huì)對(duì)他是否會(huì)長(zhǎng)到7英尺高感興趣：這樣可以更好的因材施教。
其他的例外就嚴(yán)重得多了：骨齡和實(shí)際年齡之間的顯著不匹配會(huì)昭示各種各樣的問(wèn)題，包括生長(zhǎng)障礙和內(nèi)分泌問(wèn)題。骨齡的單一讀數(shù)值會(huì)告訴臨床醫(yī)生患者在特定時(shí)間內(nèi)的相對(duì)成熟度，與其他臨床發(fā)現(xiàn)相結(jié)合之后，就可以將正常人與相對(duì)快速或遲緩成長(zhǎng)的人區(qū)分開(kāi)來(lái)了。連續(xù)的骨齡讀數(shù)值意味著孩子的成長(zhǎng)方向和/或顯示他或她在治療中的進(jìn)展情況。通過(guò)評(píng)估骨齡，兒科醫(yī)生可以診斷兒童發(fā)育過(guò)程中的內(nèi)分泌失調(diào)和代謝紊亂問(wèn)題，如果骨骼發(fā)育不良，或與營(yíng)養(yǎng)、代謝或影響骨骺或骨成熟的未知因素有關(guān)的生長(zhǎng)缺陷。在這種生長(zhǎng)遲緩的情況下，骨齡和身高可能都會(huì)延遲到幾乎相同的程度，但是，通過(guò)治療，達(dá)到正常成人身高的潛力仍然存在。
由于上述種種原因，兒科醫(yī)生對(duì)孩子的手部進(jìn)行X光檢查來(lái)估計(jì)他/她的骨齡是非常常見(jiàn)的……所以自然而然的，自動(dòng)化就是一個(gè)很棒的嘗試。
骨骼成熟度主要由骨骺中繼發(fā)性骨化中心的發(fā)育程度和骨化程度來(lái)評(píng)價(jià)。幾十年來(lái)，骨成熟度通常是通過(guò)對(duì)手和腕部骨骼發(fā)育的視覺(jué)評(píng)估來(lái)確定的。下面是放射科醫(yī)生在檢查你的手部X射線時(shí)所尋找的東西：
目前估計(jì)骨骼年齡的兩種最常用的技術(shù)是Greulich and Pyle和Tanner Whitehouse（TW2）。兩種方法都使用左手和手腕的X線片來(lái)評(píng)估骨骼的成熟度，其依據(jù)是成熟度指標(biāo)，也就是，管狀骨骨骺從骨化的早期階段到與骨骼融合的X光外觀的變化，或者直到骨骼變成人形狀之前扁骨的變化……不用擔(dān)心，我們以前也沒(méi)聽(tīng)說(shuō)過(guò)這些詞語(yǔ)。我們來(lái)看一張照片：
傳統(tǒng)的骨骼成熟度評(píng)估技術(shù)，比如GP或TW2，很冗長(zhǎng)，也很耗時(shí)，而且在某種程度上是主觀的，甚至是資深的放射科醫(yī)生也不總是同意這種評(píng)估結(jié)果。因此，利用計(jì)算機(jī)輔助診斷系統(tǒng)提高骨齡評(píng)估的準(zhǔn)確性，增加臨床醫(yī)生的再利用性和效率是非常吸引人的，我們接下來(lái)會(huì)開(kāi)始介紹這種系統(tǒng)。
近年來(lái)，基于深度學(xué)習(xí)的方法在生物醫(yī)學(xué)的許多問(wèn)題中顯示出優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)方法的性能改進(jìn)。在醫(yī)療影像領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)（CNN）已經(jīng)成功地用于糖尿病視網(wǎng)膜病變篩查、乳腺癌組織學(xué)圖像分析、骨病預(yù)測(cè)和許多其他問(wèn)題；可以參見(jiàn)我們先前的文章對(duì)這些疾病或其他應(yīng)用的調(diào)查研究。
因此，我們自然也試著將現(xiàn)代深度神經(jīng)結(jié)構(gòu)也應(yīng)用于骨齡評(píng)估。下面，我們將利用北美放射學(xué)會(huì)（RSNA）組織的兒科骨齡挑戰(zhàn)賽（Pediatic Bone Age Challenge）的數(shù)據(jù)，描述一種完全自動(dòng)化的骨齡評(píng)估的深度學(xué)習(xí)方法。雖然達(dá)到盡可能高的準(zhǔn)確度是我們的一個(gè)基本目標(biāo)，但我們的系統(tǒng)也被設(shè)計(jì)成擁有針對(duì)各種醫(yī)療中心在不同硬件上產(chǎn)生的射線照片的質(zhì)量不足和多樣性依然能保持魯棒性的特性。
數(shù)據(jù)集由北美放射學(xué)會(huì)（RSNA）提供，RSNA還組織了2017年兒童骨齡挑戰(zhàn)賽，在這里我們要向RSNA表達(dá)我們真摯的感謝。這些照片是從斯坦福兒童醫(yī)院和科羅拉多兒童醫(yī)院獲得的，他們?cè)诓煌臅r(shí)間、不同的條件下拍攝了不同的硬件。這些圖像由專業(yè)的兒科放射學(xué)家負(fù)責(zé)解釋，他們?cè)诜派鋱?bào)告中記錄了骨骼的年齡，這是記錄是基于Greulich and Pyle的手和手腕骨骼發(fā)育的放射圖解的視覺(jué)比較結(jié)果。另外，組委也會(huì)從放射報(bào)告中自動(dòng)提取骨齡標(biāo)志以作為模型訓(xùn)練的基本依據(jù)。
這些射線照片的大小、方向、曝光量各不不同，而且通常具有特定的標(biāo)記。整個(gè)RSNA數(shù)據(jù)集包含12611次訓(xùn)練，1425次驗(yàn)證和200個(gè)測(cè)試圖像。由于測(cè)試數(shù)據(jù)集明顯太小，而且在開(kāi)發(fā)期間其標(biāo)簽未知，因此我們只在訓(xùn)練集保留的1000張射線照片上對(duì)模型進(jìn)行了測(cè)試。
訓(xùn)練數(shù)據(jù)包括5778個(gè)女性和6833個(gè)男性的照片，年齡1～228個(gè)月，主要為5～15歲兒童。
我們工作的主要貢獻(xiàn)之一是嚴(yán)格的預(yù)處理流水線。為了防止模型與失真圖像學(xué)習(xí)發(fā)生錯(cuò)誤的關(guān)聯(lián)，我們首先通過(guò)分割手來(lái)去除背景。
對(duì)于圖像分割，我們使用的是U-Net深層結(jié)構(gòu)。自2015年被發(fā)明以來(lái)，U-Net已成為處理分割任務(wù)的主流方法。它由捕獲上下文的收縮路徑和允許精確定位的對(duì)稱擴(kuò)展路徑組成；由于這不是本文的主題，因此我們將僅展示一下其結(jié)構(gòu)，我們推薦感興趣的讀者去閱讀可以獲得相關(guān)細(xì)節(jié)的論文：
我們也使用了批量歸一化方法，以提高訓(xùn)練過(guò)程中的收斂性。在我們的算法中，我們使用了廣義損失函數(shù)。
標(biāo)準(zhǔn)二進(jìn)制交叉熵?fù)p失函數(shù)為
其中
像素的真值為
是像素的預(yù)測(cè)概率，以及
Jaccard指數(shù)的一個(gè)可微推廣：
我們通過(guò)去除小而無(wú)關(guān)的連通分量和均衡對(duì)比度來(lái)完成分割步驟。下面是我們的預(yù)處理流水線的工作原理：
就像你所看到的，X線片的質(zhì)量和對(duì)比度確實(shí)有了很大的提高。在這里你可以停下來(lái)訓(xùn)練用于分類(lèi)/回歸的標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)，用我們的預(yù)處理和標(biāo)準(zhǔn)化技術(shù)（如縮放和旋轉(zhuǎn)）來(lái)擴(kuò)展訓(xùn)練集。我們?cè)嚵艘幌逻@種方法，結(jié)果雖然不如我們的最終模型準(zhǔn)確，但還是相當(dāng)令人滿意的。
然而，最初的GP和TW方法側(cè)重于特定的手骨，包括指骨、掌骨和腕骨等部位。我們決定嘗試使用這些信息，并在幾個(gè)特定區(qū)域上以高分辨率訓(xùn)練單獨(dú)的模型，以數(shù)值評(píng)估和比較它們的性能。為了正確定位這些區(qū)域，我們必須將所有圖像變換到相同的大小和位置，即，將它們?nèi)繋У较嗤淖鴺?biāo)空間，這個(gè)過(guò)程稱為圖像配準(zhǔn)。
我們的圖像配準(zhǔn)方案其實(shí)很簡(jiǎn)單：我們只需要檢測(cè)手上的幾個(gè)特征點(diǎn)的坐標(biāo)，然后我們就能夠計(jì)算仿射變換參數(shù)（縮放、旋轉(zhuǎn)、平移和鏡像）以將圖像擬合到標(biāo)準(zhǔn)位置。
為了創(chuàng)建一個(gè)訓(xùn)練集的關(guān)鍵點(diǎn)模型，我們使用VGG圖像注釋器（VIA）手動(dòng)標(biāo)記了800張照片。我們選擇了三個(gè)特征點(diǎn)：第三指遠(yuǎn)端指骨的尖端，拇指遠(yuǎn)端指骨的尖端和頭骨的中心。關(guān)鍵點(diǎn)的像素坐標(biāo)就將作為我們回歸模型的訓(xùn)練目標(biāo)。
關(guān)鍵點(diǎn)模型再次被實(shí)現(xiàn)為深度卷積神經(jīng)網(wǎng)絡(luò)，其靈感來(lái)自流行的VGG模型族，但是具有回歸輸出模式。VGG模塊由兩個(gè)卷積層組成，具有指數(shù)線性單元激活、批量標(biāo)準(zhǔn)化和最大池化三個(gè)特征。下面是結(jié)構(gòu)：
該模型訓(xùn)練的均方誤差損失（MSE）和Adam 優(yōu)化器如下：
為了提高泛化性，我們將標(biāo)準(zhǔn)擴(kuò)充應(yīng)用于輸入，包括旋轉(zhuǎn)、平移和縮放。該模型輸出6個(gè)坐標(biāo)。
找到關(guān)鍵點(diǎn)后，我們會(huì)計(jì)算所有射線照片的仿射變換（縮放、旋轉(zhuǎn)、平移）。我們的目標(biāo)是保持圖像的縱橫比，但將其適配到一個(gè)均勻的位置，每個(gè)射線照片都是如此，下面是具體的數(shù)值：
1.中指的尖端水平對(duì)齊并定位在圖像的上邊緣下方大約100個(gè)像素；
2.頭骨水平對(duì)齊并定位在圖像底部邊緣上方大約480個(gè)像素處。
按照慣例，骨齡評(píng)估一般使用左手的X射線照片，但有時(shí)候數(shù)據(jù)集中的圖像會(huì)被鏡像處理。為了檢測(cè)這些圖像并適當(dāng)?shù)卣{(diào)整它們，我們使用了拇指的關(guān)鍵點(diǎn)。
來(lái)看看我們的圖像注冊(cè)模型是如何工作的。正如你所看到的，手已經(jīng)成功地旋轉(zhuǎn)到我們的首選標(biāo)準(zhǔn)位置：
這里還有整個(gè)預(yù)處理流水線的諸多案例。包括分割結(jié)果，標(biāo)準(zhǔn)化和注冊(cè)都展示在第四行里。
遵循Gilsanz和Ratib的手部骨齡：骨骼成熟度數(shù)字地圖集，我們從注冊(cè)的X線照片中選擇了三個(gè)特定區(qū)域，并為每個(gè)區(qū)域訓(xùn)練了一個(gè)單獨(dú)的模型，包括以下三個(gè)區(qū)域：
1.整手
2.腕骨
3.掌骨和近側(cè)指骨。
下面是真實(shí)射線照片的區(qū)域和一些樣本對(duì)應(yīng)的分割片段，我們可以看到：
雖然卷積神經(jīng)網(wǎng)絡(luò)通常用于分類(lèi)任務(wù)，但是骨齡評(píng)估本質(zhì)上是一個(gè)回歸問(wèn)題：我們必須預(yù)測(cè)年齡，因?yàn)樗且粋€(gè)連續(xù)變量。因此，我們要比較兩套CNN架構(gòu)，回歸和分類(lèi)，所以我們就實(shí)現(xiàn)了這兩個(gè)架構(gòu)。模型共享相似的參數(shù)和訓(xùn)練協(xié)議，并且僅在兩個(gè)最終層中有所區(qū)別。
我們的第一個(gè)模型是一個(gè)定制的VGG風(fēng)格的架構(gòu)，具有回歸輸出模式。該網(wǎng)絡(luò)由六個(gè)卷積模塊組成，具有32、64、128、128、256、384個(gè)濾波器，接著是兩個(gè)全連接的層，每個(gè)層由2048個(gè)神經(jīng)元和一個(gè)輸出層組成（我們將在下面展示圖片）。輸入大小根據(jù)圖像的考慮區(qū)域而發(fā)生變化。為了更好的泛化，我們?cè)谕耆B接層之前應(yīng)用正則層。我們將回歸目標(biāo)，即骨齡重新調(diào)整到范圍[-1, 1 ]。為了避免過(guò)度擬合，我們將訓(xùn)練時(shí)間放大與縮放，旋轉(zhuǎn)和換檔。通過(guò)最小化平均絕對(duì)誤差（MAE），利用Adam優(yōu)化器對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練：
第二個(gè)模型用于分類(lèi)，除了兩個(gè)最終層之外，與回歸模型非常相似。一個(gè)主要區(qū)別是分配給每個(gè)骨齡不同類(lèi)別。在數(shù)據(jù)集中，骨齡是以月份表示的，所以我們考慮了所有240個(gè)類(lèi)，倒數(shù)第二層變成了具有240個(gè)輸出的softmax層。該層輸出概率的向量，其中類(lèi)的概率在范圍[0, 1 ]中取實(shí)值。在最后一層中，概率向量乘以不同骨齡的向量[1，…，239，240]。由此，模型會(huì)輸出骨齡的單個(gè)期望值。我們使用與回歸模型相同的協(xié)議來(lái)訓(xùn)練該模型。
這是用于分類(lèi)的模型體系結(jié)構(gòu)；除了缺少softmax和binning層之外，回歸模型都是相同的：
我們?cè)u(píng)估了1000個(gè)放射線照片訓(xùn)練組的驗(yàn)證集上的模型。按照考慮性別的GP和TW方法，對(duì)于每個(gè)空間區(qū)域，我們分別針對(duì)女性和男性訓(xùn)練了性別特定模型，并將其與針對(duì)整個(gè)人群訓(xùn)練的性別不可知模型進(jìn)行比較。這里是我們的結(jié)果的總結(jié)，我們將討論：
我們可以看到，事實(shí)證明，增加性別的輸入之后大大提高了準(zhǔn)確性，平均是1.4個(gè)月。最左邊的列代表兩個(gè)性別的回歸模型的表現(xiàn)。掌骨和近指骨區(qū)（C區(qū)）平均絕對(duì)誤差（MAE）為8.42個(gè)月，全手（A區(qū)）平均絕對(duì)誤差（MAE）為8.08個(gè)月。三個(gè)區(qū)域的線性集合提高了7.52個(gè)月的總體準(zhǔn)確度（表中的下一行）。
性別特定性回歸模型（第二欄和第三欄）將MAE提高到男性的6.30個(gè)月，女性為6.49個(gè)月。這里請(qǐng)注意，對(duì)于女性隊(duì)列，掌骨和近指骨的區(qū)域MAE等于6.79個(gè)月，甚至比整個(gè)手更精確，MAE只有7.12個(gè)月！
性別特定性分類(lèi)模型（第四和第五列）表現(xiàn)略好于回歸模型，分別表現(xiàn)出6.16個(gè)月和6.39個(gè)月的MAE（下行）。
最后，在第六列中，我們展示了所有性別特定模型的集合（分類(lèi)和回歸）。在驗(yàn)證數(shù)據(jù)集上，它達(dá)到了6.10個(gè)月的最新精確度，無(wú)論從骨齡評(píng)估挑戰(zhàn)測(cè)試還是從實(shí)際應(yīng)用的角度來(lái)看，這都是一個(gè)很棒的結(jié)果。
總結(jié)一下：在這篇文章中，我們展示了如何開(kāi)發(fā)一個(gè)自動(dòng)化的骨齡評(píng)估系統(tǒng)，該系統(tǒng)能夠以驚人的準(zhǔn)確性評(píng)估骨骼的成熟度，類(lèi)似于或優(yōu)于專業(yè)放射學(xué)家。我們還用數(shù)值方法評(píng)估了手的不同區(qū)域，發(fā)現(xiàn)骨齡評(píng)估可以只針對(duì)掌骨和近端指骨進(jìn)行，而不會(huì)顯著損失準(zhǔn)確性。為了克服射線照片的質(zhì)量多樣性，我們引入了嚴(yán)格的清洗和標(biāo)準(zhǔn)化過(guò)程，顯著提高了模型的魯棒性和準(zhǔn)確性。
該模型在臨床環(huán)境下具有很大的應(yīng)用潛力，可以幫助臨床醫(yī)生做出準(zhǔn)確和實(shí)時(shí)的骨齡評(píng)估決策，這將確保及時(shí)診斷和治療他們小病人的生長(zhǎng)障礙，甚至幫助醫(yī)療研究拓展到難以到達(dá)的邊界。鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
