0
| 本文作者： 楊曉凡 | 2017-11-09 10:08 |
雷鋒網(wǎng) AI 科技評論按：AI研習(xí)社公開課系列持續(xù)進(jìn)行中。此次我們請到香港中文大學(xué)博士陳浩為大家介紹“人工智能在臨床醫(yī)學(xué)影像計(jì)算與分析中的應(yīng)用”這一研究熱點(diǎn)，主要從方法、思路、如何結(jié)合問題解決的角度介紹了醫(yī)療影像領(lǐng)域重要會(huì)議MICCAI 2017的部分收錄論文。
分享嘉賓陳浩是視見醫(yī)療的創(chuàng)始人兼首席科學(xué)家，在香港中文大學(xué)取得博士學(xué)位并獲得香港政府博士獎(jiǎng)學(xué)金，本科畢業(yè)于北京航空航天大學(xué)并獲得金質(zhì)獎(jiǎng)?wù)?。研究興趣包括醫(yī)學(xué)影像計(jì)算，機(jī)器學(xué)習(xí)（深度學(xué)習(xí)）, 計(jì)算機(jī)視覺等。博士期間發(fā)表數(shù)十篇頂級會(huì)議和期刊論文，包括CVPR、MICCAI、AAAI、MIA、IEEE-TMI、NeuroImage等 。擔(dān)任包括NIPS、MICCAI、IEEE-TMI、NeuroImage等國際會(huì)議和期刊審稿人。三維全卷積神經(jīng)網(wǎng)絡(luò)相關(guān)論文獲得2016 MIAR最佳論文獎(jiǎng)。2014年以來帶領(lǐng)團(tuán)隊(duì)在數(shù)十項(xiàng)國際性醫(yī)學(xué)影像分析和識(shí)別挑戰(zhàn)賽中獲得冠軍。
陳浩博士在學(xué)校中研究的就是醫(yī)學(xué)圖像計(jì)算方向，這次也就給大家分享MICCAI 2017中他自己感興趣的幾篇論文。
陳浩博士首先介紹了MICCAI會(huì)議的情況。MICCAI的全稱是Medical Image Computing and Computer-Assisted Intervention，是計(jì)算機(jī)影像處理計(jì)算（MIC）以及計(jì)算機(jī)輔助介入（CAI）兩個(gè)領(lǐng)域的綜合性會(huì)議。MIC中包含的課題包括配準(zhǔn)、機(jī)器學(xué)習(xí)、圖像分割、傳統(tǒng)CAD（計(jì)算機(jī)輔助檢測）以及臨床和生物學(xué)應(yīng)用。CAI集中在在介入部分，包括追蹤和導(dǎo)航、介入式影像、醫(yī)用機(jī)器人等等。
今年MICCAI中，投MIC方向的論文居多，其余有14%的CAI和6%的MICCAI?？偟恼撐匿浫÷蕿?2%。從錄取率來看，MICCAI是醫(yī)學(xué)領(lǐng)域的會(huì)議中論文錄取比較嚴(yán)格的。（錄取率與CVPR、ICCV相當(dāng)）
MICCAI 2017中，共接收了分屬15個(gè)組的255篇論文；圖中標(biāo)紅的組是錄取量相對比較大的組，包括配準(zhǔn)、腦相關(guān)研究、MRI&張肌/纖維處理、光學(xué)成像、運(yùn)動(dòng)和心臟圖像分析，還有一個(gè)較大的部分是特征提取和分類；論文數(shù)量最多的分組是醫(yī)學(xué)影像計(jì)算中的機(jī)器學(xué)習(xí)。
MICCAI 會(huì)議從創(chuàng)立到2017年剛好是20周年，在世界多地輪流舉辦。今年MICCAI的舉辦地點(diǎn)是加拿大魁北克。
MICCAI 最初是在1998年由三個(gè)小會(huì)議CVRMed、VBC、MrCAS組成的。2004年時(shí)MICCAI Society正式成立。
回顧MICCAI過去20年中被引量最高的文章，有7篇文章是分割和檢測，2015年的U-Net大家也都很熟悉了。
還有9篇文章是做registration，也都比較早了，包括共信息熵、demon算法等著名方法。
有4篇文章是CAI的方向，覆蓋到AR/VR、機(jī)器人、規(guī)劃和可視化。
下面陳浩就開始介紹本屆MICCAI上他個(gè)人比較感興趣的論文。
第一篇關(guān)于整張圖像的多實(shí)例分類學(xué)習(xí)。這項(xiàng)研究的背景是，各種醫(yī)學(xué)圖像中診斷病癥存在時(shí)，如果出現(xiàn)一個(gè)正例，就可以認(rèn)為圖像的判定結(jié)果是“有疾病、陽性”；但“無疾病”的判定結(jié)果需要圖像中所有的區(qū)塊都沒有出現(xiàn)正例才行。那這就是多實(shí)例學(xué)習(xí)的范疇。
論文名稱是「Deep Multi-instance Networks with Sparse Label Assignment for Whole Mammogram Classification」。模型的總體框架是，首先對輸入圖像進(jìn)行分割、縮放得到感興趣的區(qū)域，通過CNN提取很多區(qū)塊后，用線性回歸分類器得到可能性排序，最后根據(jù)機(jī)器學(xué)習(xí)模型得到影像的判定結(jié)果輸出。
論文中比較了模型訓(xùn)練中三種不同的損失，最大池化損失、標(biāo)簽設(shè)定損失和這篇文章中提出的稀疏性損失。設(shè)計(jì)這些損失函數(shù)的原因如下。
最大池化（Max-pooling）損失是把不同區(qū)塊的可能性進(jìn)行排序，選取其中最大的，損失表達(dá)式就是交叉熵的負(fù)對數(shù)似然。它的缺點(diǎn)是，只選擇了所有區(qū)塊中的一個(gè)。
對于有多個(gè)區(qū)塊是陽性的情況，就很自然地可以想到標(biāo)簽設(shè)定（Label-assignment）損失，選取出k個(gè)正例、其余為負(fù)例，然后通過損失函數(shù)訓(xùn)練網(wǎng)絡(luò)。損失函數(shù)里同樣包含了權(quán)重的懲罰項(xiàng)。這種損失邏輯上似乎更合理，但具體計(jì)算時(shí)如何為不同的圖像選取適合的k值是一個(gè)問題。
稀疏性（Sparsity）損失中就規(guī)避了這樣的顯式的k值選取，提出了很好的求解方法。通過選取超參數(shù)μ，配合rn的L1范數(shù)，讓不同區(qū)塊的預(yù)測結(jié)果分別趨向于1或0，實(shí)現(xiàn)了稀疏性。
方法的比較結(jié)果如圖中下方表格，其中也包含了先用ImageNet做預(yù)訓(xùn)練再遷移到醫(yī)學(xué)圖像的模型?？梢钥吹?，在AlexNet加上三種不同損失的結(jié)果中，稀疏性損失的模型不僅取得了與預(yù)訓(xùn)練CNN+隨機(jī)森林相當(dāng)?shù)臏?zhǔn)確率，AUC更是得到了巨大提升。這樣就在這個(gè)數(shù)據(jù)集上得到了很好的表現(xiàn)，而且具有不錯(cuò)的魯棒性。
論文中作者也展示了模型對不同樣本圖像的響應(yīng)值。第一排圖像中紅框標(biāo)出的是病灶部位的ground truth，下方是feature map中對應(yīng)位置的評分?？梢钥吹较∈栊該p失模型的預(yù)測結(jié)果最好。
第二篇是關(guān)于圖像分割的深度主動(dòng)學(xué)習(xí)。醫(yī)學(xué)影像分割的ground truth是非常昂貴的，需要有多年臨床經(jīng)驗(yàn)的專家標(biāo)注數(shù)據(jù)；一般計(jì)算機(jī)視覺問題中通過普通人眾包標(biāo)注建立大規(guī)模標(biāo)注數(shù)據(jù)集訓(xùn)練模型的方法是行不通的。所以，在數(shù)據(jù)集中只選取有代表性的數(shù)據(jù)進(jìn)行標(biāo)注就可以降低費(fèi)用。
這篇「Suggestive Annotation: A Deep Active Learning Framework for Biomedical Image Segmentation」中的亮點(diǎn)就是采用了主動(dòng)學(xué)習(xí)的框架，選取不確定的、有代表性的樣本進(jìn)行標(biāo)注并訓(xùn)練模型；一直重復(fù)這個(gè)過程可以更好地指導(dǎo)模型學(xué)習(xí)，這就是模型中的建議標(biāo)注suggestive annotation。
模型結(jié)構(gòu)沿用了陳浩博士團(tuán)隊(duì)發(fā)表在CVPR2016的DCNN，并且加入了殘差連接。模型還抽取了1024維的特征向量作為圖像的外觀描述，用來在不同圖像之間做對比、找到有代表性的樣本。
剛才提到要找不確定性和有代表性，“有代表性”實(shí)際評估的指標(biāo)就是圖像的相似度。上圖中，a圖是原始樣本，b圖是FCNN輸出的分割后feature map，c圖是圖像中不同特征預(yù)測結(jié)果的不確定性，d圖中就顯示出不確定性和預(yù)測的準(zhǔn)確率是有關(guān)系的，越高的不確定性就對應(yīng)越低的準(zhǔn)確率。下面的一排圖像就是根據(jù)1024維的特征向量找到的相似圖像。
模型的實(shí)驗(yàn)結(jié)果如圖，幾張圖中F1分?jǐn)?shù)表示檢測到腺體的準(zhǔn)確率，Dice指分割的準(zhǔn)確率。Part A、B是當(dāng)時(shí)比賽時(shí)的兩個(gè)數(shù)據(jù)集。
圖中黑線指不計(jì)算不確定性和相似性，隨機(jī)抽取樣本訓(xùn)練的基準(zhǔn)組；藍(lán)線是僅用不確定性抽取樣本；紅線是不確定性+有代表性的樣本抽取方法；綠色虛線是用所有數(shù)據(jù)訓(xùn)練模型之后的結(jié)果?？梢钥吹郊t線收斂得最快，而且只用50%的訓(xùn)練數(shù)據(jù)就可以接近甚至超過綠線。這就說明了主動(dòng)選取樣本、引導(dǎo)模型訓(xùn)練的方法在節(jié)省成本和收斂速度方面的有效性。
第三篇是利用無標(biāo)注數(shù)據(jù)的圖像分割對抗性學(xué)習(xí)，對抗性學(xué)習(xí)也是近期的熱門范式。
模型框架如圖，對于有標(biāo)注的數(shù)據(jù)，首先采用傳統(tǒng)的有監(jiān)督學(xué)習(xí)方式學(xué)習(xí)分割網(wǎng)絡(luò)SN。然后加入無標(biāo)注數(shù)據(jù)，當(dāng)無標(biāo)注和有標(biāo)注數(shù)據(jù)同時(shí)存在時(shí)，通過反向傳播和更新參數(shù)訓(xùn)練評估網(wǎng)絡(luò)EN；在僅有無標(biāo)注數(shù)據(jù)時(shí)，也做反向傳播，但更新的是分割網(wǎng)絡(luò)SN的參數(shù)。過程中，分割網(wǎng)絡(luò)SN和評估網(wǎng)絡(luò)EN對抗式地學(xué)習(xí)，而且也利用到了無標(biāo)注的數(shù)據(jù)。
損失函數(shù)如圖，這是一個(gè)基本的對抗學(xué)習(xí)損失函數(shù)，帶有多類別的交叉熵和二分類的交叉熵。訓(xùn)練過程中分別訓(xùn)練EN和SN。藍(lán)框中圈出的部分是等價(jià)的。
兩個(gè)網(wǎng)絡(luò)的具體結(jié)構(gòu)如圖。評估網(wǎng)絡(luò)EN是一個(gè)傳統(tǒng)的CNN網(wǎng)絡(luò)；值得注意的是，它的輸入不僅有原圖像，也有分割結(jié)果的probability map，這是為了更好地利用輸入信息；最后輸出“是否是標(biāo)注圖像”的評估分值。
實(shí)驗(yàn)結(jié)果方面，圖像分割需要分割到實(shí)例級別，可以看到這篇論文中提出的DAN達(dá)到了很好的結(jié)果，檢測準(zhǔn)確率F1、分割準(zhǔn)確率Dice、形狀相似性Hausdorff距離（越小越好）都有不錯(cuò)的表現(xiàn)。
第四篇文章也是用GAN做的圖像合成。
「Medical Image Synthesis with Context-Aware Generative Adversial Networks」。研究的任務(wù)就是用MRI圖像生成對應(yīng)的CT圖像，這樣做的是可行的，因?yàn)閳D像中有一些信息是共享的；要這樣做的原因是，用MRI圖像合成CT圖像，就可以避免做CT時(shí)的輻射。
網(wǎng)絡(luò)結(jié)構(gòu)如圖，與前面不同的是，生成器這時(shí)的輸出就是生成的CT圖像。和一般的GAN一樣，鑒別器要嘗試區(qū)分生成的CT圖像和真實(shí)的CT圖像，引導(dǎo)生成器生成越來越真實(shí)的CT圖像。
G的損失中，除了對抗鑒別器的一項(xiàng)，當(dāng)然也要包含“與ground truth接近”的一項(xiàng)；作者還加了一項(xiàng)Image gradient difference loss減小梯度的變化范圍。
作者還提出了一個(gè)重要思想auto-context model（圖中ACM），用一系列分類器利用上下文信息，把原始圖像和第一個(gè)分類器的分類結(jié)果聯(lián)合作為第二個(gè)分類器的輸入，這樣就有一個(gè)精細(xì)調(diào)整的過程。
可以直觀看到，模型的結(jié)果還是不錯(cuò)的。
客觀數(shù)據(jù)方面，平均錯(cuò)誤值MAE（越低越好）和信噪比PSNR（越高越好）都取得了不錯(cuò)的結(jié)果
下一篇是體積數(shù)據(jù)的分割。
其中用到的DenseNet結(jié)構(gòu)也是今年提出的新網(wǎng)絡(luò)結(jié)構(gòu)，比之前的ResNet有更密集的連接。這種網(wǎng)絡(luò)結(jié)構(gòu)的好處在于，1，每一層都能直接接收到指導(dǎo)信息，也就是隱式的“深度監(jiān)督”；2，特征有很高的復(fù)用程度；3，能夠降低feature map對應(yīng)參數(shù)的數(shù)目
這篇論文「Automatic 3D Cardiovascular MR Segmentation with Densely-Connected Volumetric ConvNets」也就來自陳浩博士團(tuán)隊(duì)，任務(wù)目標(biāo)是全心臟的三維體積分割，采用了三維全卷積神經(jīng)網(wǎng)絡(luò)，并且把下采樣的路徑分成了不同的DenseBlock塊，在不同的DenseBlock中增加池化層增大感受野。
模型中還帶有輔助側(cè)路徑，是一種顯式的梯度傳播增強(qiáng)方法。
結(jié)果方面，分割上取得了不錯(cuò)的結(jié)果
不同的網(wǎng)絡(luò)間比較，DenseVoxNet用更少的參數(shù)數(shù)量（也帶來了更快的訓(xùn)練速度）取得了更好的數(shù)據(jù)。
前面的論文中都是基于單模態(tài)的數(shù)據(jù)，這篇「Deep Correlation Learning for Survival Prediction from Multi-modality Data」就是多模態(tài)的深度相關(guān)學(xué)習(xí)。
網(wǎng)絡(luò)中有病理圖像的數(shù)據(jù)輸入，也有蛋白質(zhì)、基因等多模態(tài)數(shù)據(jù)，特征聯(lián)合之后形成輸出。
但其實(shí)在常見的網(wǎng)絡(luò)結(jié)構(gòu)之后也有新的做法，第一個(gè)是用關(guān)聯(lián)耦合系數(shù)提高數(shù)據(jù)的關(guān)聯(lián)性，更多利用共有的信息；不過這不一定會(huì)對最終目標(biāo)帶來提高。然后針對論文中具體研究的生存時(shí)間問題，又設(shè)計(jì)了一個(gè)損失函數(shù)做精細(xì)調(diào)節(jié)。這樣就用無監(jiān)督方法挖掘相關(guān)信息，再用有監(jiān)督學(xué)習(xí)改進(jìn)。
從結(jié)果中可以看到單獨(dú)依靠圖像數(shù)據(jù)和單獨(dú)依靠蛋白質(zhì)/CNV數(shù)據(jù)的預(yù)測方法，結(jié)果都不太高。結(jié)合起來之后，可以達(dá)到最高的結(jié)果。
還有一個(gè)方向是，人體器官的形狀是比較固定的，那么就帶有固定形狀的先驗(yàn)知識(shí)進(jìn)行深度學(xué)習(xí)。
這個(gè)方向里要介紹的兩篇論文中的第一篇用到PCA，經(jīng)過主成分分析后，數(shù)據(jù)點(diǎn)都可以由主成分的線性組合得到。這里的U就存儲(chǔ)了基本形狀的表征。
這篇論文中就利用了這一點(diǎn)，模型最后的PCA層中計(jì)算權(quán)重w和位移s，以Uw+μ+s作為任一數(shù)據(jù)點(diǎn)的表征。最后再降低yi的預(yù)測和ground truth之間的損失，從而得到大致的形狀，剪切出更精細(xì)的形狀進(jìn)行堆積，得到更精細(xì)的結(jié)構(gòu)。
結(jié)果方面，首先做了圖像分割任務(wù)，與CNN、U-Net取得了相當(dāng)?shù)木担畲笾岛妥钚≈刀际穷I(lǐng)先的；右側(cè)的分布圖中也可以看到結(jié)果比較魯棒。另一個(gè)測試是點(diǎn)的定位任務(wù)，誤差距離也更小。
另一篇論文也是研究點(diǎn)的定位，在影像中找關(guān)鍵點(diǎn)。文章中研究的具體問題是脊柱側(cè)彎的關(guān)鍵點(diǎn)檢測。
輸入X光圖像，經(jīng)過卷積層后，BoostLayer的作用是去除大于兩倍標(biāo)準(zhǔn)差σ的偏離值，再經(jīng)過帶有脊椎形狀約束的Spinal Structured層之后，就可以輸出關(guān)鍵點(diǎn)的定位結(jié)果。
結(jié)果方面，論文所提的方法很好地抓取到了脊柱的形狀，包括側(cè)彎/病變的情況；傳統(tǒng)CNN對有病變的情況就處理得差一些。量化結(jié)果方面也取得了很低的錯(cuò)誤率。
陳浩博士還分享了一個(gè)好消息，他們團(tuán)隊(duì)的論文「3D deeply supervised network for automated segmentation of volumetric medical images」就拿下了MIA-MICCAI 2017的最佳論文獎(jiǎng)，其中也用到了深度監(jiān)督的思想，在不同的任務(wù)（肝臟或者心臟分割）中取得了不錯(cuò)的效果。
論文分享后，陳浩博士根據(jù)自己的研究經(jīng)驗(yàn)總結(jié)道：
首先數(shù)據(jù)是非常重要的，畢竟獲取數(shù)據(jù)的代價(jià)是非常高的；
有一些結(jié)合問題的好的先驗(yàn)知識(shí)和有深度的想法也對研究有所幫助；
這次在MICCAI，陳浩博士也觀察到，深度學(xué)習(xí)不僅在計(jì)算機(jī)視覺領(lǐng)域火熱，在醫(yī)學(xué)圖像計(jì)算中也很火，不過想要從實(shí)驗(yàn)室走到臨床的話，解釋性仍然是一大問題；
深度學(xué)習(xí)對計(jì)算能力的要求也非常高；
病理全切片有巨大的數(shù)據(jù)量，如何利用計(jì)算平臺(tái)、算法對其進(jìn)行分析也是一個(gè)重要課題；
圖像的語意分割問題上雖然取得了很大進(jìn)步，但是否已經(jīng)可以認(rèn)為解決了這個(gè)問題了、臨床上是否需要這樣的分割還需要思考；
以及，在算法以及數(shù)據(jù)集的制約下，模型的泛化性往往還是較差的，這也是應(yīng)用到實(shí)際醫(yī)療診斷中還需要解決的問題。
陳浩博士分享了幾張?jiān)诳笨藚⒓覯ICCAI時(shí)的照片
也歡迎大家參加在西班牙召開的MICCAI 2018和在香港召開的MICCAI 2019和IPMI（Information Processing in Medical Image）2019。
最后陳浩博士簡單介紹了一下他們的實(shí)驗(yàn)室，在王平安教授帶領(lǐng)下，現(xiàn)在有二三十位PhD共同在做醫(yī)學(xué)影像分析和機(jī)器學(xué)習(xí)方面的研究。陳浩博士本人也是在今年年初創(chuàng)立了視見醫(yī)療科技，獲得了幾輪融資后也在招聘全職和實(shí)習(xí)生，歡迎發(fā)簡歷給他們，共同在人工智能醫(yī)療領(lǐng)域中做一些有意思的、能對世界產(chǎn)生影響的事情。
（完）
感謝嘉賓分享，雷鋒網(wǎng) AI 科技評論整理。更多學(xué)術(shù)消息、人工智能相關(guān)新聞報(bào)道、更多專家學(xué)者公開課，請繼續(xù)關(guān)注雷鋒網(wǎng) AI 科技評論。
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
