丁香五月天婷婷久久婷婷色综合91|国产传媒自偷自拍|久久影院亚洲精品|国产欧美VA天堂国产美女自慰视屏|免费黄色av网站|婷婷丁香五月激情四射|日韩AV一区二区中文字幕在线观看|亚洲欧美日本性爱|日日噜噜噜夜夜噜噜噜|中文Av日韩一区二区

您正在使用IE低版瀏覽器,為了您的雷峰網賬號安全和更好的產品體驗,強烈建議使用更快更安全的瀏覽器
此為臨時鏈接,僅用于文章預覽,將在時失效
醫(yī)療科技 正文
發(fā)私信給李雨晨
發(fā)送

0

復旦大學宋志堅教授:深度學習在mpMRI圖像處理、醫(yī)療數(shù)據增強方面的工作心得 | ISICDM 2019

本文作者: 李雨晨 2019-08-29 13:37 專題:ISICDM
導語:上海市MICCAI重點實驗室主任最新研究進展。

2019年8月24-26日,第三屆圖像計算與數(shù)字醫(yī)學國際研討會(ISICDM 2019),在西安索菲特酒店召開。研討會由國際數(shù)字醫(yī)學會與國家天元數(shù)學西北中心聯(lián)合主辦,西安電子科技大學數(shù)學與統(tǒng)計學院與空軍軍醫(yī)大學(第四軍醫(yī)大學)生物醫(yī)學工程學院聯(lián)合承辦。

雷鋒網&AI掘金志第三次作為大會首席合作媒體,全程參與ISICDM的報道。

在8月24日上午的數(shù)字醫(yī)學與智能診療分會上,復旦大學的宋志堅發(fā)表了題為《深度學習用于計算機輔助診斷與治療:面臨的問題、機遇與挑戰(zhàn)》的演講。

宋志堅教授是復旦大學特聘教授、數(shù)字醫(yī)學研究中心主任、上海市MICCAI(Medical Image Computing and Computer Assisted Intervention )重點實驗室主任。

在演講中,宋教授分享了團隊在前列腺mpMRI(多參數(shù)磁共振)診斷、臨床數(shù)據增強以及頭頸部放療危險部位分割的成果。

以mpMRI診斷為例,因為數(shù)據量和特異性的問題,判斷前列腺癌是否具有臨床顯著性風險,這是一個非常大的臨床需求。宋教授的團隊建立了一個專門用于前列腺癌診斷的網絡架構,成績連續(xù)八個月在ProstateX Grand Challenge排在第一。

此外,宋教授還就AI在醫(yī)療領域的前景發(fā)表了自己的看法:“從經濟角度來看,自第三次工業(yè)革命以來,新的創(chuàng)造財富的科技動力還沒有真正到來,大家均在期盼第四次工業(yè)革命為人們帶來新的機遇和發(fā)展動力?!?/p>

其中就包含了對人工智能所寄予的希望,深度學習是人工智能的核心技術之一。但是,目前深度學習還存在四個方面的問題(尤其是在醫(yī)學上的應用):個別輿論宣傳偏離了科學本身、監(jiān)管政策、黑箱問題、隱私與黑客攻擊以及數(shù)據的數(shù)量與質量。

以下是宋志堅教授的演講內容,雷鋒網作了不改變原意的編輯

宋志堅:我本人是從事手術導航、手術機器人領域研究的人員。這幾年,人工智能尤其是深度學習得到了廣泛應用,我們也開展了一些這方面的研究工作,今天想結合我們實驗室工作的具體工作,和大家交流一下深度學習給醫(yī)學診斷和治療帶來的機遇及其存在問題。

大家都知道,要讓計算機為我們人類工作,幫助我們解決問題,大致可以分為兩個思路。

第一個是人工建模的思路,這種思路的步驟是首先提出問題,然后對問題進行深入的分析和探討,在這個基礎上提出算法,然后再根據算法來進行編程。

復旦大學宋志堅教授:深度學習在mpMRI圖像處理、醫(yī)療數(shù)據增強方面的工作心得 | ISICDM 2019

復旦大學宋志堅教授:深度學習在mpMRI圖像處理、醫(yī)療數(shù)據增強方面的工作心得 | ISICDM 2019

另外一種思路就是機器學習方法,它也是人工建模,最典型的就是神經網絡,但是人工僅建一半的模型,剩下的一半模型,例如神經網絡的參數(shù)不是人工確定的,而是通過對數(shù)據進行訓練而獲得,亦即,根據我們希望輸出的結果和實際結果的差異,經過反復迭代而最終將網絡參數(shù)確定下來。

復旦大學宋志堅教授:深度學習在mpMRI圖像處理、醫(yī)療數(shù)據增強方面的工作心得 | ISICDM 2019

如果網絡的隱層很多,一般稱之為深度學習網絡。這幾年深度學習的發(fā)展很快,它能解決許多非線性的問題。

以往我們靠人工建模較難以解決的問題,現(xiàn)在通過深度學習很可能可以取得很大的進展。也就是說,深度學習給我們帶來了許多機遇。

復旦大學宋志堅教授:深度學習在mpMRI圖像處理、醫(yī)療數(shù)據增強方面的工作心得 | ISICDM 2019

牛津大學的科研人員進行了一個評估,今后幾年哪些工作有可能會被人工智能所替代。其中與我們醫(yī)務人員最相關的就是外科醫(yī)生,從2016年算起,35年左右就有可能會被人工智能所替代(文章并未詳細說明替代到什么程度)。

復旦大學宋志堅教授:深度學習在mpMRI圖像處理、醫(yī)療數(shù)據增強方面的工作心得 | ISICDM 2019

近年來,深度學習在醫(yī)學診斷和治療方面的研究有很多,我們可以快速回顧一下這方面的進展。

復旦大學宋志堅教授:深度學習在mpMRI圖像處理、醫(yī)療數(shù)據增強方面的工作心得 | ISICDM 2019

首先我們看一下人工智能在肺結節(jié)診斷方面的相關實驗,18名放射學專家有17個被人工智能超過;肺炎、心臟肥大的AUC指標分別是0.63和0.87;3D CT 診斷在中風方面的研究AUC達到了0.73。

而且,深度學習的診斷速度很快,是人工的150倍。

此外,還有利用深度學習對基因組學進行研究的案例。

復旦大學宋志堅教授:深度學習在mpMRI圖像處理、醫(yī)療數(shù)據增強方面的工作心得 | ISICDM 2019

在皮膚病方面,皮膚癌的診斷準確度達到0.96,黑素瘤方面達到了0.94。這方面的研究很普遍,進展也很快。上面這個是很典型的基因組學的網絡結構,由于時間關系就不展開描述了。

復旦大學宋志堅教授:深度學習在mpMRI圖像處理、醫(yī)療數(shù)據增強方面的工作心得 | ISICDM 2019

這個是電子病歷,它將影像學、基因組學還有電子病歷作為輸入和訓練對象,所建立的網絡可用于對疾病進行自動診斷。

人們對某一事物的認識往往是通過科學實驗或臨床實踐而來。針對深度學習在疾病診斷和治療領域的應用,我們實驗室開展了一些工作,我借助這個機會把我們的工作簡單介紹一下,具體介紹三個實例。

復旦大學宋志堅教授:深度學習在mpMRI圖像處理、醫(yī)療數(shù)據增強方面的工作心得 | ISICDM 2019

第一個介紹的是前列腺癌診斷的問題,判斷前列腺癌是否具有臨床顯著性風險,這是一個非常大的臨床需求。

我們用的是多參數(shù)磁共振的數(shù)據,因為圖像量非常大,所以醫(yī)生診斷工作量就很大;另外一個重要原因是,醫(yī)生通過MRI對前列腺癌的診斷,和CT對肺臟、肝臟疾病的診斷不一樣,前列腺癌的特異性不是很好,診斷的難度要大一些。

所以,通過多參數(shù)磁共振圖像實現(xiàn)對前列腺癌的診斷診斷,是大家都在研究的前沿問題。

我們的整體思路是這樣:

首先,我們對前列腺癌進行一個大致的位置確定,即預處理。

其次,我們建立一個專門用于前列腺癌診斷的網絡。在這個基礎上,我們對它進行訓練測試,看看它的準確性,這是總體的框架。

復旦大學宋志堅教授:深度學習在mpMRI圖像處理、醫(yī)療數(shù)據增強方面的工作心得 | ISICDM 2019

具體而言,對每一種參數(shù)的前列腺的數(shù)據,我們有一個連續(xù)卷積的過程。我們看每一個小方塊,放大以后是這樣的。我們對某一個圖像,比方說256*256的圖像,首先是3*3*64的卷積,卷積以后就形成了256×256*64個卷積。

復旦大學宋志堅教授:深度學習在mpMRI圖像處理、醫(yī)療數(shù)據增強方面的工作心得 | ISICDM 2019

卷積結束以后,我們再進行一個1*1*64的卷積的操作。這樣就把256*256*64變成了256*256*1,這是3*3的卷積,然后緊接著是一個5*5的卷積。

最后,我們把這兩個卷積連起來,再進行一個pooling的操作。那么2*2的pooling之后,256*256就變成了128*128。

復旦大學宋志堅教授:深度學習在mpMRI圖像處理、醫(yī)療數(shù)據增強方面的工作心得 | ISICDM 2019

回過頭來看,假設是256*256的圖像,再是128*128*64,一直下來是一個8*8的圖像,我們把8*8圖像的每一個像素、每一個參數(shù)的卷積,結合前列腺癌的位置,把它連起來進入全連接進行判斷,最后可以得出一個結果。

復旦大學宋志堅教授:深度學習在mpMRI圖像處理、醫(yī)療數(shù)據增強方面的工作心得 | ISICDM 2019

我們用的數(shù)據集是SPIE所提供的Prostate X挑戰(zhàn)賽數(shù)據集,訓練集利包含204名患者的330個病變,測試集包含了142名患者的208個病變。

現(xiàn)在測試下來,我們的成績連續(xù)八個月排在第一。

我認為,最關鍵的是建立了一個專門用于前列腺癌診斷的網絡架構。

我們做的第二個工作是臨床數(shù)據增強。

在前列腺穿刺導航研究當中,首先要對前列腺進行分割。這里面會遇到一個問題,就是臨床數(shù)據包括前列腺數(shù)據的獲取很難。此外,醫(yī)生在這方面的工作量很大。

復旦大學宋志堅教授:深度學習在mpMRI圖像處理、醫(yī)療數(shù)據增強方面的工作心得 | ISICDM 2019

因此我們做了一個圖像增強的工作,也就是怎樣由小數(shù)據形成大數(shù)據。

這個工作的基本思路是這樣:

首先我們對圖像進行預處理。在此基礎上,我們針對每一個訓練集的圖像,用統(tǒng)計模型對數(shù)據進行增強。也就是說,從概率統(tǒng)計上看,前列腺的輪廓最大概率的形狀有哪些?

所以,根據一組輪廓能生成多個新的輪廓,然后對某一個生成的輪廓,找到最接近的那個輪廓所對應的圖像,然后用輪廓之間所對應的最接近的關系,把對應圖像的紋理進行插值。

這樣,就由小數(shù)據生成了大數(shù)據。它的基本思路是這樣的,然后把原來提供的數(shù)據和我們生成的數(shù)據進行訓練,得出結果。

復旦大學宋志堅教授:深度學習在mpMRI圖像處理、醫(yī)療數(shù)據增強方面的工作心得 | ISICDM 2019

這個是由小數(shù)據生成大數(shù)據的一個圖示化結果。

我們可以看到,上面是原來提供的數(shù)據,下面是我們模擬生成的??梢钥吹?,我們生成的圖像很漂亮,像真的一樣,那么它有沒有用呢?

復旦大學宋志堅教授:深度學習在mpMRI圖像處理、醫(yī)療數(shù)據增強方面的工作心得 | ISICDM 2019

我們做了試驗,使用CNN和Unet進行驗證??梢钥吹剑S著生成數(shù)據的增加,圖像分割精度也在迅速提升。

所以,我們生成的數(shù)據在網絡訓練中是起作用的,能夠在數(shù)據不足的時候,用數(shù)據增強的方法,部分地解決問題。

復旦大學宋志堅教授:深度學習在mpMRI圖像處理、醫(yī)療數(shù)據增強方面的工作心得 | ISICDM 2019

這是我們以圖像分割為例對數(shù)據增強做的試驗,對增強的數(shù)據進行驗證,上圖分別是2D和3D上的前列腺分割結果。

復旦大學宋志堅教授:深度學習在mpMRI圖像處理、醫(yī)療數(shù)據增強方面的工作心得 | ISICDM 2019

第三個工作是頭頸部放療危及器官的分割。

頭頸部放療,通常要對一些危及器官進行規(guī)避,即放療中不能損害到到這些危及器官。這么多的危及器官,一般有9到10個,要靠人工勾畫,醫(yī)生的工作量很大,有沒有可能用人工智能的方法把危及器官自動分割出來。

我們工作的基本思路是這樣:首先,因為訓練集的圖像已經是分割好了,我們把分割好的圖像把它提取出來,其他的都不要了,這樣就形成了兩個系列的圖像。對這兩個系列的圖像因為它訓練速度的問題我們進行了下采樣。

復旦大學宋志堅教授:深度學習在mpMRI圖像處理、醫(yī)療數(shù)據增強方面的工作心得 | ISICDM 2019

對這個圖像,我們經過傳統(tǒng)的計算方法,把已經分割好的地方用一個小的立方體框住。

首先,訓練找到頭頸部某一個器官的大致位置,把這個圖像輸入第一個名為LocNet的網絡(基本結構和Unet相似),對它進行訓練。

訓練是以我們關注的器官的位置作為標準,看看我們訓練的和它有什么區(qū)別?如果有區(qū)別的話,再進行迭代把這個參數(shù)確定下來。

最后結果是,把整個器官的位置定位下來,然后根據這個位置來找到對應圖像的位置,然后僅對這幅圖像我們所確定的與器官相關的位置進行第二次訓練,我們叫SegNet,通過它進行訓練分割。

測試數(shù)據時,當兩個網絡結構定下來以后,把這個數(shù)據先定位,然后在定位的基礎上進行分割。

復旦大學宋志堅教授:深度學習在mpMRI圖像處理、醫(yī)療數(shù)據增強方面的工作心得 | ISICDM 2019

這個是我們分割的具體可視化的結果。

可以看到,九個位置的分割都比較準確。當然這里面也有不準確的,我們的測試數(shù)據有部分不是很準確。

復旦大學宋志堅教授:深度學習在mpMRI圖像處理、醫(yī)療數(shù)據增強方面的工作心得 | ISICDM 2019

復旦大學宋志堅教授:深度學習在mpMRI圖像處理、醫(yī)療數(shù)據增強方面的工作心得 | ISICDM 2019

從整體平均數(shù)據比較,我們用了兩個參數(shù)。

一個是Dice系數(shù)。與國際上其他方法比較,九個部位里有五個排名第一,兩個排第二;第二個,95% HDs距離,九個部位里有七個排第一,兩個排第二。可以看出,我們的工作還是比較成功的。

最后是我們的一些思考,對今后的機遇問題簡單介紹一下。

復旦大學宋志堅教授:深度學習在mpMRI圖像處理、醫(yī)療數(shù)據增強方面的工作心得 | ISICDM 2019

我們可以回顧一下工業(yè)革命的歷史。

第一次工業(yè)革命以蒸汽機為標志,這個和醫(yī)學沒有太大關系,最起碼沒有直接關系。

第二次工業(yè)革命的標志是電力的發(fā)明,這個應該說和醫(yī)學有間接關系。

以計算機及信息技術為標志的第三次工業(yè)革命和醫(yī)學的關系就密切多了,比方說CT、核磁共振、PET等均得力利于計算機技術。亦即,信息技術推動了醫(yī)學的發(fā)展,尤其是推動了診斷和治療的進步。

現(xiàn)在,第四次工業(yè)革命尚未到來(有人說即將到來),而第三次工業(yè)革命的紅利已基本耗盡,這意味著什么呢?

意味著,新的增長點沒有形成,財富增量正在逐漸縮小,國際上部分利益集團,尤其是老牌發(fā)達國家的利益集團,要維持原來的生活水平,就不得不從別人口中搶蛋糕。所以大家就可以看到國際上會出現(xiàn)一些怪現(xiàn)象。例如,你不能生產電視機,而我可以,那么我獲得了很多財富;以后你能夠生產了,但是我的質量比你高,我還是能夠盈利。但如果技術長期沒有突破,后來居上,那么原來生產電視機的廠家利潤便會迅速下降。

在第四次工業(yè)革命的浪潮中,誰搶占了先機,誰就將獲得更大的發(fā)展的空間。因此,這幾年對國家間的競爭非常重要。

目前,新的增長點有可能集中在如下幾個方面:一個是人工智能,其核心應該是deep learning(深度學習),此外還有可控核聚變、石墨烯、量子信息、新能源等等。其中和醫(yī)學關系最密切的就是deep learning,但是,現(xiàn)在要在這方面實現(xiàn)突破的話,還有許多問題需要解決。

復旦大學宋志堅教授:深度學習在mpMRI圖像處理、醫(yī)療數(shù)據增強方面的工作心得 | ISICDM 2019

一、輿論偏離了科學

我們現(xiàn)在輿論上宣傳的內容和實際上有一些差異。首先我們應該認清,深度學習和傳統(tǒng)方法最大的不同是,它并非完全依靠人工建模,而是相當程度上依靠大數(shù)據訓練形成參數(shù)并確定模型。因此,過去許多人工建模解決不了或解決不好的問題,通過深度學習能夠為我們提高新的機遇。但同時,我們也要看到,深度學習也存在一些自身的問題。例如,傳統(tǒng)建模的方法如果推理很嚴謹,那么一百個數(shù)據進去,一百個都是準確的。而人工智能這種方法,一百個數(shù)據進去可能有幾個是不準確的,但是在臨床上,這一百個數(shù)據是不允許出現(xiàn)問題的。

二、監(jiān)管政策

監(jiān)管政策法規(guī)會限制深度學習在臨床上的應用。舉個例子,比方說國際工程師協(xié)會將自動駕駛分為五級,第五級就是完全的自動駕駛,人已經完全不干預。但是,現(xiàn)實政策上限制在Level 4上,也就是說,不能完全是自主駕駛,最起碼人要在旁邊看著。

在臨床層面應用人工智能的話,大家普遍應該是Level 3。就是說,不能把對疾病的診斷的重要事情全部交給人工智能,最起碼現(xiàn)階段很長一段時間內不行。

三、黑箱問題

歐洲通用數(shù)據保護條例規(guī)定,如果要把AI用在醫(yī)學上,尤其是用在臨床上,必須要對所建立網絡的基本原理作出解釋,這個恰恰是人工智能、深度學習的弱點。

復旦大學宋志堅教授:深度學習在mpMRI圖像處理、醫(yī)療數(shù)據增強方面的工作心得 | ISICDM 2019

四、隱私和黑客攻擊,數(shù)據如何避免遭到黑客的攻擊

復旦大學宋志堅教授:深度學習在mpMRI圖像處理、醫(yī)療數(shù)據增強方面的工作心得 | ISICDM 2019

五、數(shù)據的數(shù)量和質量

如果我們在臨床上獲得數(shù)據的時候,臨床上標記錯誤,這些都是深度學習在醫(yī)學上尤其是臨床上應用需要解決的問題。

舉一個很典型的例子,這是今年4月發(fā)表在美國婦產科雜志上的一篇文章,它是用兩種模型,對白蛋白水平與宮頸癌預后結果的關系進行判斷、推測。

復旦大學宋志堅教授:深度學習在mpMRI圖像處理、醫(yī)療數(shù)據增強方面的工作心得 | ISICDM 2019

深度學習得出來的結果和臨床共識,以及我們傳統(tǒng)模型得到的結果不一樣。

人工智能認為該蛋白的水平和宮頸癌的預后沒有直接關系。那么,按照傳統(tǒng)的思路,這應該是一個比較重要的發(fā)現(xiàn)。

但是要讓大家接受這個研究結果,需要解釋為什么。人工智能是如何得出這個結果的。

所以這篇文章在討論的部分說到:我們研究遺憾的地方在于,深度學習不能解釋為什么出現(xiàn)這個結果。我們只能說,所訓練的網絡測試下來是這樣一個結果,大家要接受這個結果,需要深度學習有更深入的解釋。雷鋒網

雷峰網原創(chuàng)文章,未經授權禁止轉載。詳情見轉載須知。

分享:
相關文章
最新文章
請?zhí)顚懮暾埲速Y料
姓名
電話
郵箱
微信號
作品鏈接
個人簡介
為了您的賬戶安全,請驗證郵箱
您的郵箱還未驗證,完成可獲20積分喲!
請驗證您的郵箱
立即驗證
完善賬號信息
您的賬號已經綁定,現(xiàn)在您可以設置密碼以方便用郵箱登錄
立即設置 以后再說