本文為 AI 研習(xí)社編譯的技術(shù)博客，原標(biāo)題 ：

Review: U-Net+ResNet?—?The Importance of Long & Short Skip Connections (Biomedical Image Segmentation)

作者 | SH Tsang

翻譯 | 斯蒂芬二狗子         

校對(duì) | 醬番梨        審核 | 約翰遜·李加薪       整理 | 立魚王

原文鏈接：

https://medium.com/datadriveninvestor/review-u-net-resnet-the-importance-of-long-short-skip-connections-biomedical-image-ccbf8061ff43

這次，我們來聊一聊用于生物醫(yī)學(xué)圖像分割的的一種全卷積神經(jīng)網(wǎng)絡(luò)，這個(gè)網(wǎng)絡(luò)帶有長(zhǎng)短跳躍連接。

上次，我已經(jīng)回顧了 RoR (ResNet of ResNet, Residual Networks of Residual Networks)（這是2018年的TCSVT論文，如果有興趣，請(qǐng)?jiān)L問我的評(píng)論。）在RoR中，通過使用長(zhǎng)短跳躍連接，圖像分類準(zhǔn)確性得到提高。實(shí)驗(yàn)結(jié)果證明了使用長(zhǎng)短跳躍連接的有效性。

這一次，作者還提供了一種通過分析網(wǎng)絡(luò)中的權(quán)重來展示其有效性的方法，而不僅僅是展示實(shí)驗(yàn)結(jié)果。

盡管這項(xiàng)工作的目的是進(jìn)行生物醫(yī)學(xué)圖像分割，但通過觀察網(wǎng)絡(luò)內(nèi)的權(quán)重，我們可以更好地理解長(zhǎng)短跳躍連接。它發(fā)布于2016年DLMIA（醫(yī)學(xué)圖像分析中的深度學(xué)習(xí)），引用次數(shù)超過100次。 （SH Tsang @ Medium）

電子顯微鏡（Electron Microscopy，EM）圖像分割

1. ResNet中的Skip連接，跳躍連接

2. 長(zhǎng)和短的跳躍連接

3. 損失函數(shù)

4. 結(jié)論

5. 權(quán)重分析

ResNet 建立的模塊

• 在ResNet中，使用連續(xù)的ResNet網(wǎng)絡(luò)構(gòu)建模塊。

• 僅使用短跳躍連接。并且沒有長(zhǎng)連接。

（a）具有長(zhǎng)跳躍連接  的ResNet，（b）Bottleneck塊，（c）Basic塊，（d）Simple塊。 （藍(lán)色：可選下采樣，黃色：可選上采樣）

（a）具有長(zhǎng)跳躍連接的殘差網(wǎng)絡(luò)

• 下采樣（藍(lán)色）：這是一個(gè)收縮路徑。

• 上采樣（黃色）：這是一個(gè)不斷擴(kuò)展的路徑。

• 這是一種類似U-Net的FCN架構(gòu)。

• 從收縮路徑到擴(kuò)展路徑有很長(zhǎng)的跳躍連接。

(b) Bottleneck Block

1. 用1x1Conv-3x3Conv-1x1Conv這樣的結(jié)構(gòu)，因此它被稱為瓶頸。它已經(jīng)在ResNet中使用。

2. 在每個(gè)Conv之前使用BN-ReLU，這是來自Pre-ResNet的idea。

(c) Basic Block

• 兩個(gè)3x3Conv，同樣ResNet使用過

(d) Simple Block

• 一個(gè)3x3Conv

(b)-(d)

• 所有塊都包含短跳躍連接。

詳細(xì)的模型架構(gòu)說明

考慮了2種損失函數(shù)

3.1. 二元交叉式損失函數(shù)

• 標(biāo)準(zhǔn)的交叉熵?fù)p失函數(shù)

3.2. Dice Loss

• Dice Loss是生物醫(yī)學(xué)圖像分割的另一種常見損失函數(shù)。

4.1數(shù)據(jù)集

• 訓(xùn)練集：30個(gè)電子顯微鏡（EM）圖像，大小為512×512。 25個(gè)圖像用于訓(xùn)練，留5個(gè)圖像進(jìn)行驗(yàn)證。

• 測(cè)試集：另外30張圖片。

• 圖像是全分辨率輸入到網(wǎng)絡(luò)。

• 沒有后處理步驟。

4.2 長(zhǎng)和短的跳躍連接

隨著epoches的損失/準(zhǔn)確性：（a）長(zhǎng)和短連接，（b）僅短，（c）僅長(zhǎng)

最好的損失值

• 如上所述，在上述3種設(shè)置中，同時(shí)使用長(zhǎng)和短連接可以獲得最小的損耗或最高的精度。

4.3 與最先進(jìn)的方法進(jìn)行比較

ISBI EM分割挑戰(zhàn)

(http://brainiac2.mit.edu/isbi_challenge/)

• 在ISBI EM分段挑戰(zhàn)中，Vrand和Vinfo值用于排名評(píng)估。

• 前景限制Rand評(píng)分值：它是Rand分割分?jǐn)?shù)得分和Rand合并得分的加權(quán)和的均值。分割和合并分?jǐn)?shù)可以被解釋為精度，并且在像素對(duì)的分類中被看為屬于相同的分割（正類）或不同的分割（負(fù)類）。

• 信息論評(píng)分Vinfo：信息論分割得分和信息理論合并得分的加權(quán)和的均值。它是互信息（MI）的衡量標(biāo)準(zhǔn)，可作為Rand評(píng)分的替代方案。

• 兩個(gè)指標(biāo)的細(xì)節(jié):https://www.frontiersin.org/articles/10.3389/fnana.2015.00142/full

• 所提出的方法（表格底部）與CUMedVision和U-Net相當(dāng)。雖然它有點(diǎn)遜色，但提出的方法不使用任何后處理步驟，這是一種端到端的學(xué)習(xí)解決方案。

   5：權(quán)重分析

（a）長(zhǎng)短跳躍連接，（b）只有9次重復(fù)簡(jiǎn)單塊的長(zhǎng)連接，（c）只有3次重復(fù)簡(jiǎn)單塊的長(zhǎng)連接，（d）只有7次重復(fù)簡(jiǎn)單塊的長(zhǎng)連接沒有BN。

• 藍(lán)色： 小權(quán)重值

• 紅色:    大權(quán)重值

（a）長(zhǎng)/短跳躍連接

• 當(dāng)存在長(zhǎng)跳過連接和短跳過連接時(shí)，參數(shù)更新似乎分布均勻。

（b）只有9次重復(fù)簡(jiǎn)單塊的長(zhǎng)連接

• 當(dāng)刪除短連接時(shí)，網(wǎng)絡(luò)的深層部分幾乎沒有更新。

• 當(dāng)保留長(zhǎng)連接時(shí)，至少可以更新模型的淺層部分。

（c）只有3次重復(fù)簡(jiǎn)單塊的長(zhǎng)連接 

•  當(dāng)模型足夠淺，可以很好地更新所有圖層。
  

（d）只有7次重復(fù)簡(jiǎn)單塊的長(zhǎng)連接沒有BN 

•  沒有批量規(guī)范化BN的網(wǎng)絡(luò)對(duì)網(wǎng)絡(luò)中心的更新減少了。

在關(guān)于權(quán)重分析進(jìn)行總結(jié)，由于梯度消失問題（通過短跳過連接減輕），更靠近模型中心的層不能有效地更新。

參考

[2016] [DLMIA]
The Importance of Skip Connections in Biomedical Image Segmentatio

想要繼續(xù)查看該篇文章相關(guān)鏈接和參考文獻(xiàn)？

點(diǎn)擊【U-Net 和 ResNet：長(zhǎng)短跳躍連接的重要性（生物醫(yī)學(xué)圖像分割）】或長(zhǎng)按下方地址：

https://ai.yanxishe.com/page/TextTranslation/1525

AI研習(xí)社今日推薦：雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

卡耐基梅隆大學(xué) 2019 春季《神經(jīng)網(wǎng)絡(luò)自然語(yǔ)言處理》是CMU語(yǔ)言技術(shù)學(xué)院和計(jì)算機(jī)學(xué)院聯(lián)合開課，主要內(nèi)容是教學(xué)生如何用神經(jīng)網(wǎng)絡(luò)做自然語(yǔ)言處理。神經(jīng)網(wǎng)絡(luò)對(duì)于語(yǔ)言建模任務(wù)而言，可以稱得上是提供了一種強(qiáng)大的新工具，與此同時(shí)，神經(jīng)網(wǎng)絡(luò)能夠改進(jìn)諸多任務(wù)中的最新技術(shù)，將過去不容易解決的問題變得輕松簡(jiǎn)單。

加入小組免費(fèi)觀看視頻：https://ai.yanxishe.com/page/groupDetail/33