編者按：2020年8月7日，全球人工智能和機(jī)器人峰會(huì)（CCF-GAIR 2020）正式開幕。CCF-GAIR 2020 峰會(huì)由中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）主辦，香港中文大學(xué)（深圳）、雷鋒網(wǎng)聯(lián)合承辦，鵬城實(shí)驗(yàn)室、深圳市人工智能與機(jī)器人研究院協(xié)辦。從2016年的學(xué)產(chǎn)結(jié)合，2017年的產(chǎn)業(yè)落地，2018年的垂直細(xì)分，2019年的人工智能40周年，峰會(huì)一直致力于打造國(guó)內(nèi)人工智能和機(jī)器人領(lǐng)域規(guī)模最大、規(guī)格最高、跨界最廣的學(xué)術(shù)、工業(yè)和投資平臺(tái)。

在8月9日的醫(yī)療科技專場(chǎng)上，騰訊天衍實(shí)驗(yàn)室主任、美國(guó)醫(yī)學(xué)和生物工程學(xué)會(huì)的會(huì)士（AIMBE Fellow）、IEEE醫(yī)學(xué)影像雜志副編鄭冶楓博士，分享了小樣本學(xué)習(xí)和域自適應(yīng)技術(shù)在醫(yī)學(xué)影像AI問題中的最新研究思路及應(yīng)用進(jìn)展。

鄭冶楓指出，從本質(zhì)上來看，影像診斷是一個(gè)計(jì)算機(jī)視覺問題，理想情況下將計(jì)算機(jī)視覺成熟技術(shù)搬過來就可以，但影像診斷往往還存在很多獨(dú)特的行業(yè)性問題。

第一，數(shù)據(jù)量少（缺乏訓(xùn)練數(shù)據(jù)），對(duì)AI算法團(tuán)隊(duì)來說是一個(gè)難題。因?yàn)槿狈?shù)據(jù)樣本，數(shù)據(jù)來源和標(biāo)注問題都很大，醫(yī)學(xué)影像需要專業(yè)醫(yī)生標(biāo)注，而培養(yǎng)一個(gè)專業(yè)醫(yī)生需要十年以上的時(shí)間。

第二，算法跨中心泛化能力差。開發(fā)一個(gè)疾病/場(chǎng)景，與一家醫(yī)院做深度捆綁、利用數(shù)據(jù)進(jìn)行交叉驗(yàn)證后，能得到比較理想的結(jié)果。但如果把這個(gè)算法部署到另外一家醫(yī)院，準(zhǔn)確率會(huì)相差很大。

第三，準(zhǔn)確度要求高，醫(yī)療是一個(gè)嚴(yán)謹(jǐn)?shù)膱?chǎng)景，所有的診斷建議都可能對(duì)病人健康產(chǎn)生直接影響。

在第一個(gè)問題上，鄭冶楓博士提出，遷移學(xué)習(xí)是一個(gè)很好的方式，可以將某個(gè)任務(wù)（源域）上訓(xùn)練好的模型遷移到另一個(gè)任務(wù)（目標(biāo)域）。而為了獲取更多的醫(yī)學(xué)數(shù)據(jù)、積少成多，鄭冶楓博士團(tuán)隊(duì)提出了Med3D：共享編碼器的多任務(wù)分割網(wǎng)絡(luò)，在大量異質(zhì)的公開數(shù)據(jù)集上預(yù)訓(xùn)練，然后遷移到其它任務(wù)，并且進(jìn)行了開源輸出。

當(dāng)然，除了Med3D，鄭冶楓博士團(tuán)隊(duì)還提出了基于魔方變換的自監(jiān)督學(xué)習(xí)，在預(yù)訓(xùn)練階段不需要人工標(biāo)定，從而減少大量的時(shí)間成本。

另外一方面，為了解決域偏移的問題，他們還提出了新型無監(jiān)督域自適應(yīng)(UDA)的方法，來緩和域偏移所導(dǎo)致的性能下降。該方法僅僅需要源域的數(shù)據(jù)、標(biāo)注以及目標(biāo)域的部分圖像，無需目標(biāo)域的標(biāo)注，即可實(shí)現(xiàn)兩個(gè)領(lǐng)域的自適應(yīng)。在演講中，他以VideoGAN: 視頻風(fēng)格轉(zhuǎn)換以及OP-Net: 基于單張圖像的風(fēng)格轉(zhuǎn)換的兩個(gè)案例進(jìn)行了說明。

以下為鄭冶楓的現(xiàn)場(chǎng)演講內(nèi)容，雷鋒網(wǎng)作了不改變?cè)獾木庉嫾罢?/h3>

鄭冶楓：首先介紹一下天衍實(shí)驗(yàn)室的情況。天衍實(shí)驗(yàn)室成立于2018年9月份，當(dāng)年的930變革讓騰訊開始全面擁抱互聯(lián)網(wǎng)，其中天衍實(shí)驗(yàn)室是專注醫(yī)學(xué)AI的團(tuán)隊(duì)，專注支持騰訊醫(yī)療線業(yè)務(wù)。

作為一個(gè)實(shí)驗(yàn)室，我們過去兩年已經(jīng)申請(qǐng)170多項(xiàng)AI技術(shù)專利，今年上半年也發(fā)表30多篇文章，并獲得五項(xiàng)醫(yī)療方面競(jìng)賽冠軍。

實(shí)驗(yàn)室依托騰訊這樣一個(gè)平臺(tái)，覆蓋業(yè)務(wù)比較廣，例如投身醫(yī)療“抗疫”這件事，在to C、to B、to G場(chǎng)景都有所覆蓋，to C其中主要就是依托騰訊健康小程序入口，快速上線疫情專區(qū)、疫情知識(shí)問答等；在to B場(chǎng)景，也上線了新冠肺炎CT輔助診斷算法；to G場(chǎng)景則是配合政府部門做疾病發(fā)展預(yù)測(cè)，為政策決策提供支持。

騰訊上半年公布的財(cái)報(bào)里面，也專門總結(jié)了騰訊在抗疫期間做的工作，

其中紅色的就是和實(shí)驗(yàn)室密切相關(guān)的，例如在15億抗疫基金里面撥出一部分資金，購(gòu)買6臺(tái)車載CT掃描儀進(jìn)行捐贈(zèng)，同車搭載的還有我們的新冠肺炎CT輔助診斷算法。

天衍實(shí)驗(yàn)室還跟鐘南山院士團(tuán)隊(duì)合作，建立聯(lián)合實(shí)驗(yàn)室，目前這個(gè)實(shí)驗(yàn)室還在持續(xù)運(yùn)作，研發(fā)新冠治療和抗疫等類型工作。騰訊健康碼小程序提供AI問診、隨訪等服務(wù)，疫情期間有60多億的調(diào)用。

回到醫(yī)療領(lǐng)域，騰訊作為科技部新一代人工智能項(xiàng)目的重要參與者，在醫(yī)療影像的產(chǎn)品就是騰訊覓影，目前騰訊覓影已經(jīng)研發(fā)肺炎篩查、宮頸癌篩查、新冠肺炎CT輔助診斷等多種工具。

深度學(xué)習(xí)在影像診斷上的挑戰(zhàn)

過去兩年我們做了很多落地的工作，也遇到了很多問題，并且開發(fā)了一些技術(shù)解決這些問題。本質(zhì)上講，影像診斷是一個(gè)計(jì)算機(jī)視覺問題，理想情況下應(yīng)該把計(jì)算機(jī)視覺成熟技術(shù)搬過來就可以。

但影像診斷有很多獨(dú)特的問題：

第一個(gè)挑戰(zhàn)，數(shù)據(jù)量少。數(shù)據(jù)整個(gè)AI研發(fā)過程中最大的難題，其他領(lǐng)域通過爬蟲、眾包的方式可以獲取大量已經(jīng)標(biāo)注的數(shù)據(jù)。這在醫(yī)療領(lǐng)域就非常困難，首先像核磁、CT等特定部位數(shù)據(jù)量和來源非常少，而且這些數(shù)據(jù)中往往還存在大量噪音。此外數(shù)據(jù)標(biāo)注過程也比較困難，醫(yī)療數(shù)據(jù)的標(biāo)注往往需要十年以上行業(yè)經(jīng)驗(yàn)的醫(yī)生才能完成。

第二個(gè)挑戰(zhàn)，算法跨中心泛化能力差。AI產(chǎn)品在研發(fā)中，通常都是和一家科研能力強(qiáng)的醫(yī)院做深度捆綁，利用醫(yī)院里面所有數(shù)據(jù)進(jìn)行交叉驗(yàn)證，在這家醫(yī)院可能得到比較好的結(jié)果，甚至達(dá)到95%的準(zhǔn)確率。

但這家醫(yī)院研究出來的算法，一旦泛化到其他醫(yī)院，就會(huì)出現(xiàn)模型準(zhǔn)確度急劇下降，如果把兩家醫(yī)院的數(shù)據(jù)做比對(duì)就可以發(fā)現(xiàn)相差非常大，里面可能是因?yàn)樵O(shè)備的差異，不同設(shè)備使用不同的掃描參數(shù)，甚至疾病也存在差異，有些醫(yī)院重癥病人較多，有些醫(yī)院輕癥病人較多。

第三個(gè)挑戰(zhàn)，準(zhǔn)確度要求高。醫(yī)療是一個(gè)嚴(yán)謹(jǐn)?shù)膱?chǎng)景，所有診斷建議可能會(huì)對(duì)病人健康產(chǎn)生直接的影響。

我今天會(huì)分享前面兩個(gè)問題的解決途徑，第一個(gè)就是采用小樣學(xué)習(xí)技術(shù)解決缺乏訓(xùn)練樣本問題；第二個(gè)是采用域自適應(yīng)的方法提高算法的泛化能力。

Med3D——構(gòu)造3D醫(yī)學(xué)影像的ImageNet

首先分享幾個(gè)我們最近做的工作，第一個(gè)是Med3D：構(gòu)造3D醫(yī)學(xué)影像的ImageNet。

目前，小樣本學(xué)習(xí)比較成熟的技術(shù)就是遷移學(xué)習(xí)。遷移學(xué)習(xí)就是將某個(gè)任務(wù)上訓(xùn)練好的模型遷移到另一個(gè)任務(wù)，小樣本遷移學(xué)習(xí)則是源域已經(jīng)有大量訓(xùn)練樣本，而目標(biāo)域只有少量樣本的情況。

以這個(gè)圖像為例，假設(shè)要開發(fā)一個(gè)老虎識(shí)別圖像算法，但因?yàn)槔匣⑹钦湎?dòng)物，我們接觸老虎的概率很低，所以訓(xùn)練集里面就缺少老虎不同角度的圖片。

但跟老虎很像的一個(gè)動(dòng)物是橘貓，橘貓?jiān)诟鱾€(gè)場(chǎng)景下都可以得到海量的圖片，所以就可以在橘貓的訓(xùn)練集上進(jìn)行訓(xùn)練，之后通過微調(diào)就可以滿足識(shí)別老虎，這就是典型的遷移學(xué)習(xí)案例。

遷移學(xué)習(xí)在醫(yī)學(xué)影像上也有很好的應(yīng)用場(chǎng)景，例如CT、MR等影像都是三維圖像，而lmageNet預(yù)訓(xùn)練的模型都是二維圖像，根本無法識(shí)別三維圖像。

而如果把三維圖形都轉(zhuǎn)化為二維圖像識(shí)別，就會(huì)丟失很多信息，這在醫(yī)療是不允許的。所以只能通過某種方法構(gòu)造或預(yù)訓(xùn)練另一種直接識(shí)別三維圖像的模型。

但實(shí)際二維影像數(shù)據(jù)也不多，我們只能聚少成多，一點(diǎn)點(diǎn)把二維影像數(shù)據(jù)積累起來，把小樣本聚集起來成為大樣本。

在這個(gè)過程中，醫(yī)療影像領(lǐng)域就有一個(gè)特別好的助推，就是每年大量的競(jìng)賽，每次競(jìng)賽都會(huì)公開數(shù)據(jù)集。數(shù)據(jù)集里面還都是經(jīng)過醫(yī)生投票，得到金標(biāo)準(zhǔn)的數(shù)據(jù)，甚至有的網(wǎng)站集合了所有公開競(jìng)賽的數(shù)據(jù)，現(xiàn)在就有200多個(gè)競(jìng)賽數(shù)據(jù)集，還在一直增長(zhǎng)。

因?yàn)閷?shí)驗(yàn)室更關(guān)注三維圖像的處理，所以會(huì)把這些數(shù)據(jù)集里所有三維圖像數(shù)據(jù)拿出來進(jìn)行分割、標(biāo)注、分類。

對(duì)于分割，現(xiàn)在最好的方法就是全卷積神經(jīng)網(wǎng)絡(luò)，主要包括兩部分，一個(gè)是編碼器，即圖像做卷積下載壓縮到一個(gè)低維空間，然后套一個(gè)解碼器，做卷積上采樣恢復(fù)成原來的分辨率，輸出分割結(jié)果，這是現(xiàn)在幾乎所有人都在用的一個(gè)分割技術(shù)。

我們數(shù)據(jù)的來源非常不一樣，有CT、有核磁共振，而且分割的器官也不一樣，解碼器無法共享，但編碼器是可以共享的，可以把編碼器拿出來在其他任務(wù)上進(jìn)行學(xué)習(xí)，跟隨機(jī)初始化比起來有很大的提升。

做完這個(gè)以后，我們覺得這是一個(gè)非常基礎(chǔ)的工作，很多醫(yī)療影像研究人員都可以從中受益，所以我們決定開源，當(dāng)然前期肯定經(jīng)過了騰訊的評(píng)估，這是騰訊在醫(yī)療AI領(lǐng)域的首次開源輸出。

介紹小樣本學(xué)習(xí)案例2：基于魔方變換的自監(jiān)督學(xué)習(xí) 

剛才介紹的是我們做的第一個(gè)小樣本學(xué)習(xí)的工作，畢竟這個(gè)工作還是需要做分割標(biāo)注，這個(gè)工作量很大，于是我們接下來進(jìn)行了自監(jiān)督學(xué)習(xí)，只需要拿原始圖像進(jìn)來，通過構(gòu)建自監(jiān)督學(xué)習(xí)任務(wù)，這樣就可以拿到這個(gè)任務(wù)本身需要的標(biāo)注，通過圖像本身訓(xùn)練，不需要額外的人工標(biāo)注。

基于魔方變換的自監(jiān)督學(xué)習(xí)是我們?nèi)ツ臧l(fā)布的一個(gè)技術(shù)，首先給核磁的一個(gè)腦部圖像的三維醫(yī)學(xué)影像切一個(gè)魔方，八個(gè)魔方塊（二階魔方2×2×2）隨機(jī)打亂，因?yàn)榇騺y方法很多，于是我們做了一個(gè)限制。我們還

可以將每個(gè)魔方塊做旋轉(zhuǎn)以及把一部分圖像蓋住做掩碼，通過這些變換以后，希望可以恢復(fù)原來的魔方塊。首先把每個(gè)魔方塊接上一個(gè)編碼器（卷積下載&卷積壓縮），八個(gè)魔方共享編碼器，我們因此得到特征向量，做三個(gè)分類：知道用哪個(gè)方式打亂的；每個(gè)魔方是否做了旋轉(zhuǎn)；魔方塊是否做了摳圖或者其他變換，對(duì)魔方塊進(jìn)行訓(xùn)練，訓(xùn)練完了以后，編碼器就可以拓展、遷移到其他任務(wù)上面。

這里面有兩個(gè)問題，一個(gè)問題就是我們只訓(xùn)練了編碼器，對(duì)于分類任務(wù)來說編碼器足夠了，但是分割任務(wù)還需要解碼器。于是我們需要對(duì)解碼器也進(jìn)行了訓(xùn)練，我們會(huì)選取一個(gè)魔方片做旋轉(zhuǎn)，今年我們即將發(fā)布魔方變換2.0。

這個(gè)工作我們不再是進(jìn)行分類任務(wù)，而是做圖像復(fù)原任務(wù)，每次選一個(gè)魔方片做旋轉(zhuǎn)，把打亂的圖像輸入網(wǎng)絡(luò)，目標(biāo)是恢復(fù)原來的圖像。是類似分割的任務(wù)，這樣既可以訓(xùn)練編碼器，也可以訓(xùn)練解碼器。

訓(xùn)練完了之后我們可以把其遷移到分割任務(wù)上，做一鍵分割，我們用的魔方是高階魔方，每個(gè)魔方片大概7層左右，如果完成打亂的話幾乎不可能恢復(fù)原來的圖像，所以我們隨機(jī)選擇做四次魔方片的旋轉(zhuǎn)。

如果數(shù)據(jù)量比較少只有10%數(shù)據(jù)的話，上面第一行就是隨機(jī)開始訓(xùn)練，分割出來之后大概只有58%左右準(zhǔn)確率，用魔方變換2.0的話，分割率可以達(dá)到73.0%，有了巨大的提升。隨著訓(xùn)練樣本越來越多，分割的準(zhǔn)確率可以達(dá)到82.9%，在這種情況下，我們還是有1個(gè)多百分點(diǎn)的提升。

介紹域自適應(yīng)案例1：VideoGAN:視頻風(fēng)格轉(zhuǎn)換

剛才提到了如何用小樣本學(xué)習(xí)、緩解樣本缺乏的問題，后面分享兩篇論文講解怎么去做自適應(yīng)提高算法跨醫(yī)院的泛化能力，下面介紹一下如何提升域自適案例。

第一個(gè)是我們做視頻風(fēng)格遷移（轉(zhuǎn)換）的案例，我們做過很多結(jié)直腸內(nèi)鏡項(xiàng)目，通過內(nèi)鏡可以看里面有沒有息肉，有的話就分割出來。從這張圖片來看，左邊的呈黃色，右邊的偏白色，如果用一個(gè)數(shù)據(jù)量訓(xùn)練的話，圖像出來的效果會(huì)很差。

為了解決域偏移問題，我們提出新型無監(jiān)督域自適應(yīng)的方法，來緩和偏移所導(dǎo)致的性能下降。

做輸入端做圖像分割的話，就是所謂的圖像風(fēng)格遷移，現(xiàn)在用的比較多的是CycleGAN，遷移到另外一個(gè)域的話，希望跟另外一個(gè)域的圖像看起來一致，這個(gè)概念出來以后在娛樂場(chǎng)景下有很多應(yīng)用，比如這是一張河邊建筑物的照片，希望把這個(gè)照片遷移之后看到很?？岬臇|西，比如把男生變成女生。

但是這種方法并不能馬上應(yīng)用于醫(yī)療。2018年我們發(fā)表了一篇論文，指出了這里面有一個(gè)致命的問題，遷移的時(shí)候會(huì)改變底層的組織結(jié)構(gòu)，這是醫(yī)療當(dāng)中所不允許的，所以我們要進(jìn)行限制，保證遷移內(nèi)容不變。

我們?cè)趧倓偟囊曨l（結(jié)直腸數(shù)據(jù)集）里面用了配對(duì)的方法，每次輸入網(wǎng)絡(luò)的是兩張圖像，先做特征提取，中間有信息交換，最后會(huì)通過CycleGAN解碼出來，我們發(fā)現(xiàn)兩張圖像配對(duì)以后可以保證整個(gè)視頻遷移過去以后，視頻是連續(xù)的，不會(huì)跳變，非常神奇地可以解決結(jié)構(gòu)扭曲的問題。

這是一個(gè)結(jié)直腸內(nèi)鏡數(shù)據(jù)集，第一行是原始圖像，最后一行是把原始圖像遷移之后的風(fēng)格，可以看到黃色的圖像遷移成了白色的圖像，風(fēng)格遷移以后圖像色調(diào)發(fā)生了很多的改變，但是我們這里可以看到圖像內(nèi)容本身、包括息肉完全沒有發(fā)生改變。

從這個(gè)結(jié)直腸息肉分割結(jié)果來看，加了圖像風(fēng)格遷移之后有四個(gè)多百分點(diǎn)的提升。

介紹域自適應(yīng)案例2：OP-Net:基于單張圖像的風(fēng)格轉(zhuǎn)換

假如只有一張圖像怎么做遷移呢？我們基于CycleGAN加了一個(gè)輔助任務(wù)，比如把陰天的圖像遷移到晴天，對(duì)這些圖像塊進(jìn)行遷移，這些圖像來自相同或不同的目標(biāo)域，如果我們可以區(qū)別彼此關(guān)系和域特征的話，從一個(gè)域切到另外一個(gè)域，可判斷是哪個(gè)分類。這就是通過輔助任務(wù)做的四分類，即比較兩個(gè)圖像塊，判斷它是C1、C2還是D1、D2。這個(gè)技術(shù)比較通用，所以很多醫(yī)療場(chǎng)景里面都在使用，在自動(dòng)駕駛上也得到了應(yīng)用。

我們把單張圖像里面的每個(gè)部分進(jìn)行分割，在分割之后把圖像塊進(jìn)行遷移，因?yàn)檫@些圖像來自不同域，沒有關(guān)聯(lián)關(guān)系。所以從一個(gè)域切到另外一個(gè)域，首先需要判斷分類。

這個(gè)技術(shù)比較通用，所以很多醫(yī)療場(chǎng)景里面都在使用，而且在自動(dòng)駕駛上也得到了應(yīng)用。

總結(jié)

深度學(xué)習(xí)在醫(yī)學(xué)影像分析上有巨大的應(yīng)該空間，同時(shí)在落地上也面臨很多挑戰(zhàn)，比如缺乏大量標(biāo)定好的訓(xùn)練樣本，而且AI算法跨中心泛化能力也比較差。

小樣本學(xué)習(xí)可以緩解缺乏訓(xùn)練樣本的問題，比如通過Med3D，在大量異質(zhì)的公開數(shù)據(jù)集上預(yù)訓(xùn)練，然后遷移到其他任務(wù)上?；谀Х降淖员O(jiān)督學(xué)習(xí)，在預(yù)訓(xùn)練階段不需要人工標(biāo)定。

域自適應(yīng)提高算法的跨中心泛化能力，能保證醫(yī)療場(chǎng)景下的域自適應(yīng)（圖像風(fēng)格遷移）不改變?nèi)梭w組織結(jié)構(gòu)。

會(huì)后專訪

雷鋒網(wǎng)：2020年以來，天衍實(shí)驗(yàn)室相繼開發(fā)了新冠肺炎AI預(yù)測(cè)，區(qū)域傳染病預(yù)測(cè)等多種技術(shù)。下半年，在醫(yī)療大數(shù)據(jù)、醫(yī)療自然語言理解、醫(yī)療影像方面都有哪些最新的研發(fā)規(guī)劃？

鄭冶楓：實(shí)驗(yàn)室上半年主要的精力都在抗疫工作上，發(fā)聲不多的原因在于實(shí)驗(yàn)室會(huì)把下半年乃至明年上半年的主要精力都集中在認(rèn)證上面。醫(yī)學(xué)影像領(lǐng)域，目前整個(gè)行業(yè)都集中精力在認(rèn)證環(huán)節(jié)，這會(huì)直接影響后續(xù)所有產(chǎn)品的預(yù)研計(jì)劃。

在現(xiàn)階段，我們也有一些肝臟、心臟的預(yù)研項(xiàng)目。但是需要先確保之前的產(chǎn)品商業(yè)化，把模式跑通，后續(xù)其他產(chǎn)品的預(yù)研工作才能順利開展，否則所有產(chǎn)品都卡在認(rèn)證環(huán)節(jié)，后續(xù)還在投入大量的精力預(yù)研，風(fēng)險(xiǎn)就會(huì)成倍增加。

雷鋒網(wǎng)：天衍實(shí)驗(yàn)室在醫(yī)療AI方面的學(xué)術(shù)進(jìn)展比較突出，今年MICCAI上更是接收了多達(dá)14篇的論文。這14篇論文的關(guān)注重點(diǎn)也在于醫(yī)療數(shù)據(jù)標(biāo)注、以及小數(shù)據(jù)集上的模型性能。在您看來，這兩方面是否是醫(yī)療AI最急需解決的問題？為什么？這些學(xué)術(shù)成果如何更好地實(shí)現(xiàn)應(yīng)用？

鄭冶楓：在醫(yī)療AI領(lǐng)域，無論是落地價(jià)值，還是科學(xué)探索，小樣本學(xué)習(xí)都有著重要的意義。因?yàn)獒t(yī)療影像和其他視覺場(chǎng)景最大的區(qū)別就是數(shù)據(jù)較少，而深度學(xué)習(xí)本身的特征就是數(shù)據(jù)驅(qū)動(dòng)。

從應(yīng)用角度，小樣本學(xué)習(xí)只是我們過去的一種儲(chǔ)備技術(shù)，但這次新冠肺炎輔助診斷算法開發(fā)就得到了應(yīng)用。在疫情初期只有幾百例數(shù)據(jù)的情況下，實(shí)驗(yàn)室通過魔方自監(jiān)督學(xué)習(xí)，直接提升了10%的模型準(zhǔn)確率，在過去，要達(dá)到同樣的效果，可能需要上萬例數(shù)據(jù)。

雷鋒網(wǎng)：GAIR大會(huì)上，周志華教授提出，過去AI都是的驅(qū)動(dòng)都是數(shù)據(jù)+算法+算力，未來在這幾點(diǎn)外可能還需要加入先驗(yàn)知識(shí)，您認(rèn)為醫(yī)療AI是否也是同樣的情況？

鄭冶楓：這個(gè)觀點(diǎn)我也深有同感，我在加入天衍實(shí)驗(yàn)室之前，就已經(jīng)做了十幾年的醫(yī)療影像分析。那時(shí)候還不是深度學(xué)習(xí)，主要都是基于機(jī)器學(xué)習(xí)算法，識(shí)別的效果也很不準(zhǔn)確。所以，很多自動(dòng)分割工作都需要在算法基礎(chǔ)上結(jié)合知識(shí)經(jīng)驗(yàn)才能完成，例如心臟分割、冠脈分割，就需要結(jié)合很多先驗(yàn)知識(shí)。

但深度學(xué)習(xí)出現(xiàn)以后，就發(fā)現(xiàn)只要數(shù)據(jù)足夠多，算法效果就會(huì)變得很好，似乎一瞬間知識(shí)經(jīng)驗(yàn)變得不重要。但其實(shí)深度學(xué)習(xí)也不是完美的，在數(shù)量較少的情況下就沒有傳統(tǒng)機(jī)器學(xué)習(xí)識(shí)別效果好。

所以現(xiàn)在我也在思考，深度學(xué)習(xí)時(shí)代怎樣把知識(shí)經(jīng)驗(yàn)融入醫(yī)療AI，但很困難。問題在于，先驗(yàn)知識(shí)不是通用的，醫(yī)療行業(yè)的不用領(lǐng)域就有不同的研究方式，還存在不同形狀和分類的限制，每種先驗(yàn)知識(shí)加入網(wǎng)絡(luò)都沒有通用的方法，每種場(chǎng)景都需要定制化，這嚴(yán)重阻礙了知識(shí)與深度學(xué)習(xí)的進(jìn)一步結(jié)合。

但也不代表完全不可能，例如這次新冠肺炎癥狀分類，在分類識(shí)別過程中就需要強(qiáng)迫神經(jīng)網(wǎng)絡(luò)關(guān)注肺炎區(qū)域，否則模型經(jīng)常就會(huì)關(guān)注到心臟、骨頭等其他非必要的區(qū)域，這種“強(qiáng)迫方法”就是基于先驗(yàn)知識(shí)。

所以，周志華老師的觀點(diǎn)是非常正確的。

另外，深度學(xué)習(xí)還有一個(gè)原生問題會(huì)阻礙先驗(yàn)知識(shí)的加入，這個(gè)問題就是“不靈活”，可能我們還在思考如何添加先驗(yàn)經(jīng)驗(yàn)、尋找巧妙方法，但其他人就已經(jīng)利用堆數(shù)據(jù)的方式解決了同樣的問題，這會(huì)讓一部分的研究人員非常有挫敗感。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。