三維醫(yī)學(xué)影像數(shù)據(jù)的獲取和標(biāo)注難度大，數(shù)據(jù)量少。為了解決這一難題，從自然圖像到醫(yī)學(xué)圖像的遷移學(xué)習(xí)已經(jīng)成為醫(yī)學(xué)圖像分析中最實(shí)用的學(xué)習(xí)方法之一。自然圖像中最廣泛使用的預(yù)訓(xùn)練模型ImageNet是2D的，而醫(yī)學(xué)圖像(如CT和MRI等)是3D的，當(dāng)三維的影像分析任務(wù)必須在二維中重新描述和解決時(shí)，大量的結(jié)構(gòu)信息就會(huì)丟失，并不可避免地?fù)p害模型的性能。一般而言，用3D的神經(jīng)網(wǎng)絡(luò)直接處理三維的圖像信息效果會(huì)好于2D的網(wǎng)絡(luò)。然而在醫(yī)學(xué)影像分析領(lǐng)域，目前尚缺乏較通用的3D預(yù)訓(xùn)練模型。

基于以上問題，本文為大家介紹兩篇三維醫(yī)學(xué)圖像預(yù)訓(xùn)練模型的相關(guān)工作。第一篇是來自騰訊優(yōu)圖的首個(gè)醫(yī)療AI深度學(xué)習(xí)預(yù)訓(xùn)練模型MedicalNet，這也是全球第一個(gè)提供多種3D醫(yī)療影像專用預(yù)訓(xùn)練模型的項(xiàng)目。MedicalNet聚集了來自多個(gè)不同3D醫(yī)療領(lǐng)域的語義分割小規(guī)模數(shù)據(jù)集，并提出了基于多分支解碼器的多域聯(lián)合訓(xùn)練模型來解決數(shù)據(jù)集中的標(biāo)注缺失問題。這一預(yù)訓(xùn)練的適用性也很強(qiáng)，可以遷移到任何3D醫(yī)療影像應(yīng)用的深度學(xué)習(xí)模型中。第二篇是來自MICCAI 2019 Young Scientist Award的一篇文章，文中提出的Models Genesis預(yù)訓(xùn)練模型為訓(xùn)練三維模型提供強(qiáng)大的權(quán)重初始化功能，在提高準(zhǔn)確率和穩(wěn)定性的同時(shí)，大大降低了訓(xùn)練三維模型的時(shí)間和難度。兩篇文章的遷移學(xué)習(xí)能力均遠(yuǎn)超于在ImageNet中預(yù)訓(xùn)練的模型效果，為三維圖像基于遷移學(xué)習(xí)的預(yù)訓(xùn)練模型提供有效的幫助和借鑒。

1. Med3D: Transfer Learning for 3D Medical Image Analysis.

這篇文章主要從兩個(gè)方面解決了上述問題。其一，文章將多個(gè)醫(yī)學(xué)比賽中的8個(gè)分割數(shù)據(jù)進(jìn)行了整合，創(chuàng)建了3DSeg-8數(shù)據(jù)集，數(shù)據(jù)中包含了不同的模態(tài)（CT和MRI）、不同掃描區(qū)域的目標(biāo)器官（腦、心臟、胰腺等）、不同的病理情況以及3D中不同的分辨率、像素灰度范圍等。其二，文章中設(shè)計(jì)的Med3D網(wǎng)絡(luò)可以用于訓(xùn)練多種數(shù)據(jù)，并且產(chǎn)生了不同深度的3D-ResNet系列預(yù)訓(xùn)練模型，這些預(yù)訓(xùn)練模型可以作為骨干網(wǎng)絡(luò)并應(yīng)用于醫(yī)學(xué)圖像的分割、檢測以及分類任務(wù)。MedicalNet尤其適用小數(shù)據(jù)醫(yī)療影像AI場景，能加快網(wǎng)絡(luò)收斂，提升網(wǎng)絡(luò)性能。

• 主要思想：

圖1展示了這篇文章的工作流程。首先，進(jìn)行數(shù)據(jù)選擇，從不同的醫(yī)學(xué)成像模式中收集公開的3D分割數(shù)據(jù)集（3DSeg-8數(shù)據(jù)集）。然后進(jìn)行數(shù)據(jù)預(yù)處理，主要包括空間和灰度分布?xì)w一化等。在第二部分，訓(xùn)練Med3D網(wǎng)絡(luò)，該網(wǎng)絡(luò)采用ResNet網(wǎng)絡(luò)為基本結(jié)構(gòu)來學(xué)習(xí)特征。對(duì)于每個(gè)特定的數(shù)據(jù)集，網(wǎng)絡(luò)采用同一個(gè)共享通用的編碼器結(jié)構(gòu)，然后以一種并聯(lián)的形式對(duì)不同的數(shù)據(jù)集進(jìn)行訓(xùn)練，用八個(gè)不同的解碼器分支去適應(yīng)不同的數(shù)據(jù)集。八個(gè)分支的解碼器都是很簡單的結(jié)構(gòu)，直接將特征圖從解碼器上采樣到原始圖像的大小，并與真實(shí)標(biāo)注計(jì)算損失。這樣簡單的解碼器更有助于編碼器儲(chǔ)藏更多信息，使得網(wǎng)絡(luò)可以專注于訓(xùn)練一個(gè)通用網(wǎng)絡(luò)，且學(xué)到更多普適的信息。在測試階段，解碼器部分被移除，剩下的編碼器可以遷移至其他醫(yī)學(xué)分析任務(wù)。

圖1 論文提出方法的總框架圖

•  實(shí)驗(yàn)及結(jié)果：

文章的目標(biāo)是建立一個(gè)通用的三維骨干網(wǎng)絡(luò)，可以遷移到其他醫(yī)學(xué)圖像分析任務(wù)，以獲得比不使用預(yù)訓(xùn)練模型更好的性能。為了驗(yàn)證所建立的Med3D網(wǎng)絡(luò)的有效性和通用性。文章進(jìn)行了三個(gè)不同領(lǐng)域的實(shí)驗(yàn)：肺部分割，肺結(jié)節(jié)分類，和肝臟分割任務(wù)。

圖2 Med3D用于肝臟分割任務(wù)的方法框架圖

如圖2，首先在整個(gè)圖像中對(duì)肝臟進(jìn)行粗略分割，得到目標(biāo)器官的感興趣區(qū)域(ROI)。在第一階段，將來自Med3D的預(yù)訓(xùn)練好的骨干網(wǎng)絡(luò)作為編碼器部分，卷積層有兩個(gè)通道(肝臟與背景)，對(duì)圖像進(jìn)行大小調(diào)整后，將圖像輸入到粗分割網(wǎng)絡(luò)中，進(jìn)行下采樣提取特征，然后通過雙線性插值方法將特征映射恢復(fù)到原始圖像的大小。在第二階段，根據(jù)第一階段的結(jié)果對(duì)肝臟目標(biāo)區(qū)域進(jìn)行裁剪，再對(duì)目標(biāo)進(jìn)行細(xì)化分割，將來自Med3D的預(yù)訓(xùn)練骨干網(wǎng)絡(luò)嵌入到DenseASPP分割網(wǎng)絡(luò)中，并將所有的2D內(nèi)核替換為相應(yīng)的3D版本，最終得到較為理想的肝臟分割結(jié)果。

文章將Med3D預(yù)訓(xùn)練模型應(yīng)用于LIDC數(shù)據(jù)集中的肺分割、LIDC數(shù)據(jù)集中的肺結(jié)節(jié)分類以及LiTS挑戰(zhàn)賽下的肝臟分割，并在較快的收斂速度的情況下，獲得了良好的訓(xùn)練效果。實(shí)驗(yàn)表明，與Kinetics數(shù)據(jù)集上預(yù)先訓(xùn)練的模型相比，Med3D可以加快目標(biāo)三維醫(yī)學(xué)任務(wù)的訓(xùn)練收斂速度2倍，與不使用預(yù)訓(xùn)練模型相比，可以加快目標(biāo)三維醫(yī)學(xué)任務(wù)的訓(xùn)練收斂速度10倍，提高精度3%~20%。將Med3D模型移植到DenseASPP分割網(wǎng)絡(luò)上，在單個(gè)模型的情況下，得到了94.6%的Dice系數(shù)，接近于頂級(jí)算法在LiTS挑戰(zhàn)賽的結(jié)果。表1給出了肺分割和肺結(jié)節(jié)分類的實(shí)驗(yàn)結(jié)果，文章提出的方法均獲得了最好的結(jié)果。

表1 Med3D遷移至肺分割和肺結(jié)節(jié)分類任務(wù)的實(shí)驗(yàn)結(jié)果

• 模型優(yōu)勢：

1）有相關(guān)工作指出，源域和目標(biāo)域之間的數(shù)據(jù)分布越相似，遷移學(xué)習(xí)的效果越好。因此，在三維醫(yī)學(xué)分析任務(wù)中，基于三維醫(yī)學(xué)數(shù)據(jù)集的模型要優(yōu)于自然場景數(shù)據(jù)。本文聚集了來自不同醫(yī)學(xué)領(lǐng)域、不同成像方式、不同靶器官和病理學(xué)表現(xiàn)的許多小的3D數(shù)據(jù)集，從而構(gòu)建一個(gè)相對(duì)較大的用于預(yù)訓(xùn)練的三維醫(yī)學(xué)影像數(shù)據(jù)集。

2）基于上述多域的三維醫(yī)學(xué)圖像數(shù)據(jù)集，跨域訓(xùn)練一個(gè)骨干網(wǎng)絡(luò)來幫助解決多種疾病的多種醫(yī)學(xué)分析任務(wù)，使得該模型具有較好的泛化性能。

2. Models Genesis: Generic Autodidactic Models for 3D Medical Image Analysis.

這篇文章的貢獻(xiàn)是使用自監(jiān)督學(xué)習(xí)（self-supervised learning）的方法，設(shè)計(jì)了一個(gè)基于遷移學(xué)習(xí)的3D預(yù)訓(xùn)練模型，可用于各類主流的3D醫(yī)學(xué)圖像分析問題的模型初始化。自監(jiān)督學(xué)習(xí)不在于數(shù)據(jù)收集和專業(yè)標(biāo)注上，而在于設(shè)計(jì)有效的自我學(xué)習(xí)機(jī)制。該文章提出的自監(jiān)督學(xué)習(xí)方法歸納起來就是在原圖上做一些圖像變換，然后讓模型去還原原圖。如此一來，原圖本身成為了監(jiān)督模型訓(xùn)練的標(biāo)簽，符合自監(jiān)督學(xué)習(xí)的初衷，從而從數(shù)據(jù)中直接學(xué)習(xí)特征。

• 主要思想：
  

Genesis模型利用大量可用的胸部CT圖像而無需標(biāo)記，目標(biāo)是產(chǎn)生一個(gè)通用的、可跨疾病、器官和模式的視覺表示。在Genesis模型中，文章使用一系列的自監(jiān)督方案來訓(xùn)練一個(gè)如圖3所示的編碼器-解碼器。經(jīng)過訓(xùn)練后，編碼器可以單獨(dú)針對(duì)目標(biāo)分類任務(wù)進(jìn)行微調(diào)，而編碼器和解碼器一起可以進(jìn)行目標(biāo)分割任務(wù)。具體來說：如圖3所示，給定一個(gè)圖像，首先從圖像的隨機(jī)位置提取任意大小的patch，然后進(jìn)行可選擇的4種圖像變換。Genesis模型通過從變換后的中恢復(fù)原始patch來學(xué)習(xí)視覺表示。如圖3，文章提出的自監(jiān)督學(xué)習(xí)框架由兩個(gè)部分組成：圖像轉(zhuǎn)換和圖像恢復(fù)，其中采用編碼器-解碼器體系結(jié)構(gòu)的多個(gè)Genesis模型通過還原原始patch，從轉(zhuǎn)換后的patch進(jìn)行訓(xùn)練，旨在學(xué)習(xí)通用的視覺特征。

圖3  Models Genesis的統(tǒng)一框架

文章提出了4種可選的圖像變換的方法：(I) 非線性變化, (II) 局部像素重組, (III) 向外填充, 和 (IV) 向內(nèi)填充。具體來說，每個(gè)patch隨機(jī)裁剪位置的標(biāo)記圖像可以接受最多三個(gè)以上的上述圖像變換，之后得到patch(見圖3中的I~V)。其中變換III 和變化IV是互斥的。文章認(rèn)為網(wǎng)絡(luò)能夠通過非線性變換學(xué)習(xí)到圖像的外觀特征；通過局部像素重組能夠保留圖像的全局信息，從而學(xué)習(xí)復(fù)原器官的紋理特征和邊緣信息；通過向外填充和向內(nèi)填充可以學(xué)習(xí)到器官的整體幾何形狀和空間布局。這個(gè)自監(jiān)督學(xué)習(xí)框架的優(yōu)勢在于，它可以接收大量的圖像變換，最終把它們?nèi)诤铣梢粋€(gè)圖像恢復(fù)任務(wù)，讓模型自動(dòng)學(xué)習(xí)視覺特征，因此該文章提出的框架具有很強(qiáng)的魯棒性。

• 實(shí)驗(yàn)及結(jié)果：

文章給出了多組的實(shí)驗(yàn)結(jié)果。如表2所示，基于Genesis 預(yù)訓(xùn)練的模型始終優(yōu)于不使用預(yù)訓(xùn)練的模型，在表中列出的所有任務(wù)中，都取得了比較顯著的性能提升。

任務(wù)的含義描述如下：

如表3所示，本文的統(tǒng)一方法從外觀、紋理、上下文等多個(gè)角度訓(xùn)練模型，從而在表中列出的多種任務(wù)中均產(chǎn)生了魯棒性較強(qiáng)的模型，證明了Genesis模型能夠?qū)W習(xí)到更全面的視覺表示。

如表4所示，在表中列出的任務(wù)中，Genesis模型始終領(lǐng)先于任何2D方法，包括基于ImageNet 預(yù)訓(xùn)練的模型。

圖4比較了Genesis 2D和ImageNet監(jiān)督預(yù)訓(xùn)練的方法，結(jié)果表明，本文提出的無需專家標(biāo)注的自監(jiān)督方法，在很大程度上優(yōu)于不使用預(yù)訓(xùn)練的模型，并且取得了與最新ImageNet預(yù)訓(xùn)練相當(dāng)?shù)男阅堋?/p>

圖4 2D目標(biāo)任務(wù)2D解決方案的實(shí)驗(yàn)結(jié)果對(duì)比

• 模型優(yōu)勢：

1）Genesis模型進(jìn)行自監(jiān)督，并使用大量未標(biāo)記的圖像數(shù)據(jù)集來進(jìn)行訓(xùn)練，無需手動(dòng)標(biāo)記，要求專家標(biāo)注為零。

2）從外觀、紋理、上下文等多個(gè)角度訓(xùn)練模型，使Genesis模型能夠?qū)W習(xí)更全面的表示，從而在多種目標(biāo)任務(wù)中生成更具魯棒性的模型。

3）通過將所有任務(wù)統(tǒng)一為單一的圖像恢復(fù)任務(wù)，節(jié)約了GPU資源，并且可以很容易的拓展到其它方法。

4）模型泛化性能好，能夠做針對(duì)多種疾病的多種任務(wù)。

以上兩個(gè)預(yù)訓(xùn)練模型的參考網(wǎng)址：

https://github.com/Tencent/MedicalNet

https://github.com/MrGiovanni/ModelsGenesis

參考文獻(xiàn)：

[1]  S. Chen, K. Ma, Y. Zheng. Med3D: Transfer Learning for 3D Medical Image Analysis. arXiv preprint arXiv:1904.00625, 2019.

[2] Z. Zhou, V. Sodha, M. M. Rahman Siddiquee, R. Feng, N. Tajbakhsh, M. B. Gotway and J. Liang. Models Genesis: Generic Autodidactic Models for 3D Medical Image Analysis. International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI), 2019.