本文轉(zhuǎn)載自書生 OpenGVLab。由于醫(yī)學(xué)圖像和自然圖像之間存在較大差異，以及缺少大規(guī)模醫(yī)學(xué)圖像基準(zhǔn)數(shù)據(jù)集，這是導(dǎo)致AI在醫(yī)學(xué)領(lǐng)域進展緩慢的原因之一。構(gòu)建大規(guī)?；鶞?zhǔn)數(shù)據(jù)集和可靠的基線模型，能夠推動AI在醫(yī)療領(lǐng)域的快速發(fā)展，加速醫(yī)療向更通用的方向轉(zhuǎn)變。歡迎感興趣的讀者加入群聊與我們討論?。ǘS碼見文末）
https://github.com/OpenGVLab/SAM-Med2Dhttps:///apps/detail/litianbin/SAM-Med2D文章和代碼公開3天內(nèi)，獲得多家媒體報道，在推特閱讀量突破十萬。 眾所周知，ImageNet的出現(xiàn)極大推動了基于深度學(xué)習(xí)的人工智能的發(fā)展。它為計算機視覺領(lǐng)域提供了一個大規(guī)模的數(shù)據(jù)集和強大的基線模型，使得研究者們能夠在自然圖像分類、分割、檢測等任務(wù)上取得了突破性的成果。Segment Anything Model (SAM)代表了自然圖像分割領(lǐng)域最先進的研究進展。然而，直接將預(yù)訓(xùn)練的SAM應(yīng)用于醫(yī)學(xué)圖像分割，效果并不理想。這種限制主要源于自然圖像和醫(yī)學(xué)圖像之間存在顯著的領(lǐng)域差異。SAM的訓(xùn)練數(shù)據(jù)（圖1a.上）完全來自于高清自然圖像，導(dǎo)致其缺乏醫(yī)療領(lǐng)域的特定知識。醫(yī)學(xué)圖像和自然圖像存在顯著差異，本質(zhì)就是成像方式完全不同：自然圖像是以自然光為光源，通過手機、相機等設(shè)備轉(zhuǎn)換為RGB格式的圖像，像素值范圍也是0-255之間；醫(yī)學(xué)圖像是通過特定的協(xié)議和掃描儀收集的，其展現(xiàn)方式因其特定的臨床目的而各異，包括電子、激光、X射線、超聲波等，成像都不是RGB圖，其像素值范圍從幾千到幾十萬不等（見圖1a右側(cè)柱狀圖）。 圖1a. 自然圖像（上）與醫(yī)學(xué)圖像（下）對比
另外，由于標(biāo)注成本高且標(biāo)注質(zhì)量參差不齊，導(dǎo)致醫(yī)學(xué)圖像在不同醫(yī)院和臨床研究中的質(zhì)量存在很大差異。上述挑戰(zhàn)導(dǎo)致醫(yī)學(xué)圖像和自然圖像在數(shù)據(jù)量、數(shù)據(jù)質(zhì)量上存在顯著差異。圖1b比較了公開的自然圖像數(shù)據(jù)集和醫(yī)學(xué)圖像數(shù)據(jù)集的數(shù)據(jù)量規(guī)模差異。圖1b. 醫(yī)學(xué)圖像和自然圖像數(shù)據(jù)量規(guī)模差異基于以上問題，醫(yī)學(xué)領(lǐng)域缺乏大規(guī)模基準(zhǔn)數(shù)據(jù)集和可靠的基線模型的支持。我們的目標(biāo)是填補這一空白，推動AI在醫(yī)療領(lǐng)域的快速發(fā)展，加速醫(yī)療向更通用的方向轉(zhuǎn)變。為了實現(xiàn)這一目標(biāo)，我們研發(fā)了SAM-Med2D。首先，團隊收集了迄今為止最大最全的醫(yī)學(xué)圖像分割數(shù)據(jù)集，它由4.6M張圖片和19.7M masks組成，涵蓋了當(dāng)前公開可用數(shù)據(jù)集中幾乎所有對象類型，彌補了SAM缺乏醫(yī)學(xué)領(lǐng)域知識的問題。在此數(shù)據(jù)基礎(chǔ)上，作者團隊全面微調(diào)了SAM：在同等分辨率時，F(xiàn)T-SAM在Bbox提示模式下實現(xiàn)了11.93％的提升；SAM-Med2D實現(xiàn)了17.67％的提升。在單點提示模式下，SAM-Med2D相較于SAM表現(xiàn)出了壓倒性的優(yōu)勢 (18.94% vs. 70.01%)。在單點提示模式下，SAM-Med2D表現(xiàn)出了壓倒性的優(yōu)勢 (18.94% vs. 70.01%)。1.最大規(guī)模的醫(yī)學(xué)圖像分割數(shù)據(jù)集：作者團隊收集并整理了一個龐大而全面的醫(yī)學(xué)圖像數(shù)據(jù)集，涵蓋了多種臨床分割任務(wù)和圖像模態(tài)。這使得SAM-Med2D在訓(xùn)練過程中能夠獲得更準(zhǔn)確和具有代表性的醫(yī)學(xué)圖像信息，彌補了 SAM 在醫(yī)學(xué)領(lǐng)域數(shù)據(jù)不足的問題。2.更全面的微調(diào)方案：相對于現(xiàn)有的醫(yī)學(xué)SAM方法，作者對SAM的三個重要組成部分都進行了微調(diào)，使SAM-Med2D能夠更好地適應(yīng)醫(yī)學(xué)圖像的特殊特征和變化，提高分割結(jié)果的準(zhǔn)確性和穩(wěn)定性。圖2對比了最近基于SAM的微調(diào)方法。
圖2: SAM-Med2D是一種全面的微調(diào)方法，支持對醫(yī)學(xué)圖像進行多種提示來生成mask3.優(yōu)異的醫(yī)學(xué)圖像分割性能：對SAM-Med2D從不同維度進行了全面的性能評估。結(jié)果表明，SAM-Med2D在各種醫(yī)學(xué)圖像分割任務(wù)中表現(xiàn)出色，在同等分辨率時，F(xiàn)T-SAM在Bbox提示模式下實現(xiàn)了11.93％的提升，而SAM-Med2D實現(xiàn)了17.67％的提升。在單點提示模式下，SAM-Med2D表現(xiàn)出了壓倒性的優(yōu)勢 (18.94% vs. 70.01%)。迄今為止最大最全 的醫(yī)學(xué)圖像數(shù)據(jù)集 大模型成功的經(jīng)驗告訴我們，數(shù)據(jù)量對于模型的學(xué)習(xí)至關(guān)重要。通過學(xué)習(xí)更多的數(shù)據(jù)，模型可以獲得更加豐富的領(lǐng)域知識，并更好地適應(yīng)不同的應(yīng)用場景。盡管SAM已經(jīng)在超過1B的masks上進行了訓(xùn)練，但其訓(xùn)練集與醫(yī)學(xué)領(lǐng)域的數(shù)據(jù)相比存在較大的差距，這也是SAM在醫(yī)學(xué)領(lǐng)域表現(xiàn)不理想的原因之一。
圖3：本研究所使用的數(shù)據(jù)集概述。(a) 總共 31 個主要器官及其相應(yīng)的解剖結(jié)構(gòu)，* 表示數(shù)據(jù)集中存在病變標(biāo)簽。(b) 呈現(xiàn)了模態(tài)的分布及其在數(shù)據(jù)集中的相應(yīng)比例 (以對數(shù)縮放)。(c) 按解剖結(jié)構(gòu)分類的圖像和masks的數(shù)量，以及包含數(shù)據(jù)集的總數(shù)為此，作者團隊收集整理了迄今為止最大的醫(yī)學(xué)圖像分割數(shù)據(jù)集，它由4.6M張圖片和19.7M masks組成。圖3(b)顯示了該數(shù)據(jù)集10種不同的成像模式和對應(yīng)的數(shù)據(jù)占比。根據(jù)解剖學(xué)結(jié)構(gòu)和是否包含病灶將數(shù)據(jù)集分為5個大類，即Head and Neck、Thorax、Abdomen、Pelciv、Contains lesions，圖3(c)顯示了這些類別的圖片和masks數(shù)量。我們從這些數(shù)據(jù)集中的271種標(biāo)簽中整理和匯總出31種主要的器官（圖3 (a)），這涵蓋了當(dāng)前公開可用數(shù)據(jù)集中幾乎所有對象類型，彌補了SAM缺乏醫(yī)學(xué)領(lǐng)域知識的問題。此外，引入了9個MICCAI 2023數(shù)據(jù)集（包含約0.52M圖片和1.31M masks）驗證模型的泛化性。我們相信，通過更加全面、多樣化的訓(xùn)練數(shù)據(jù)，SAM將更好地適應(yīng)醫(yī)學(xué)圖像領(lǐng)域的復(fù)雜性和特殊性，為醫(yī)療健康領(lǐng)域的應(yīng)用提供更加準(zhǔn)確和可靠的技術(shù)支持。這也將為醫(yī)學(xué)圖像分割領(lǐng)域的研究和發(fā)展帶來新的機遇和挑戰(zhàn)。
圖4: SAM-Med2D概覽。我們凍結(jié)圖像編碼器，并將可學(xué)習(xí)的適配器層合并到每個 Transformer 塊中，以獲取醫(yī)學(xué)領(lǐng)域的特定領(lǐng)域知識。我們使用Point、Bbox 和Mask信息微調(diào)提示編碼器，同時通過交互式訓(xùn)練更新解碼器的參數(shù)在這項工作中，作者對SAM進行了微調(diào)，微調(diào)后的方法稱為SAM-Med2D，它可以有效地擴展到醫(yī)學(xué)圖像領(lǐng)域。如圖4所示，SAM-Med2D由三個主要組件組成：image encoder、prompt encoder和mask decoder。該框架允許在不同提示下為同一圖像生成不同的mask。對于image encoder，在微調(diào)時凍結(jié)了原始圖像編碼器中的所有參數(shù)，并為每個Transformer塊部署了一個Adapter層。對于prompt encoder，考慮三種提示模式進行微調(diào) (Point、Bbox和Mask)。與MedSAM，MSA等基于SAM的微調(diào)方法相比保留了更完整的提示功能，增強了其在醫(yī)學(xué)成像領(lǐng)域的適用性。對于mask decoder，沒有對其結(jié)構(gòu)做任何更改，在訓(xùn)練期間保持每一次迭代都更新其參數(shù)。為了使模型具有歧義感知能力，每個prompt會同時預(yù)測多個mask（默認(rèn)為三個）。與SAM和其他交互式分割方法相同，作者模擬交互式分割的方式對SAM-Med2D進行訓(xùn)練。每個批次的數(shù)據(jù)需要迭代9次，在第一次迭代時等概率選擇一個前景點或Bbox作為稀疏提示，前景點從GT中隨機樣點，Bbox為GT的最大外接矩形框，對每個坐標(biāo)中進行最大值為5個像素的偏移。需要注意的是，除第一次迭代時模型同時更新Adapter層、prompt encoder和mask decoder的參數(shù)外，后續(xù)的迭代僅更新mask decoder的參數(shù)。從第二次迭代開始，將上一次迭代生成的mask和GT之間的誤差區(qū)域隨機選擇1，3，5或9個點作為后續(xù)的稀疏提示，并將上一次迭代生成的低分辨率特征圖映射到[0,1]的范圍內(nèi)作為當(dāng)前迭代的密集提示。同時，在最后一次迭代和任意一次中間迭代只輸入密集提示以鼓勵模型從所提供的Mask中受益。 進行全面的性能評估能助力科研社區(qū)更深入地理解影響算法感知醫(yī)療對象能力的因素，進而改進方法并提升其在實際應(yīng)用中的效能。然而，以往的評估工作受制于數(shù)據(jù)量有限以及缺乏通用醫(yī)療圖像分割方法的瓶頸，導(dǎo)致評估幾乎都局限在小規(guī)模數(shù)據(jù)集和有限的類別上，無法充分揭示算法的優(yōu)勢和適用范圍。為填補這一研究空白，作者全方位、多維度地對SAM-Med2D進行了評估，為未來的研究者提供交互式分割方法的基準(zhǔn)標(biāo)準(zhǔn)。 在模型方面，選擇了SAM作為基礎(chǔ)模型，并從其交互方式中選擇了兩種直觀的提示模式（Bbox和Point）對SAM-Med2D進行評估。這樣的選擇是因為Bbox和Points是常用的交互方式，同時可以作為簡單高效的標(biāo)注手段。通過評估SAM-Med2D在這兩種提示模式下的性能，我們可以深入研究它們在醫(yī)學(xué)圖像分割任務(wù)中的優(yōu)勢和不足。在數(shù)據(jù)方面，作者評估了SAM-Med2D在MRI、CT、超聲等10種不同模態(tài)醫(yī)學(xué)圖像上的表現(xiàn)。這樣的綜合評估將使研究者能夠了解SAM-Med2D在特定模態(tài)下的優(yōu)勢和挑戰(zhàn)，并揭示其在多模態(tài)圖像中的潛在應(yīng)用能力。然后，考慮到不同解剖學(xué)結(jié)構(gòu)和器官具有各自獨特的形態(tài)、特征和變化模式，作者對SAM-Med2D在4種解剖學(xué)結(jié)構(gòu)和31種主要器官上的表現(xiàn)進行了評估。這樣的評估有助于深入了解SAM-Med2D在不同場景下的性能差異，并能夠有針對性地改進方法以應(yīng)對特定結(jié)構(gòu)和器官的挑戰(zhàn)。最后，作者也高度重視SAM-Med2D的泛化能力，在9個MICCAI 2023數(shù)據(jù)集上進行了測試。這些數(shù)據(jù)集代表了來自不同來源、不同機構(gòu)或不同設(shè)備采集的醫(yī)學(xué)圖像，具有多樣性。通過在這些數(shù)據(jù)集上評估SAM-Med2D，能夠驗證其在泛化到新數(shù)據(jù)上的能力。 圖5: SAM、FT-SAM (僅微調(diào)decoder)和我們的SAM-Med2D在測試集上的實驗結(jié)果圖6: (a) 從解剖學(xué)結(jié)構(gòu)角度比較四種方法的分割性能。(b) 從成像模式角度比較四種方法的分割性能圖7: FT-SAM 和 SAM-Med2D 在 31 個器官中的分割性能比較圖8: 在 9 個 MICCAI2023 數(shù)據(jù)集上進行泛化驗證，其中“*”表示不加adapter層參數(shù)的 SAM-Med2D
圖9: 定性比較SAM-Med2D和SAM。前三行描述了不同模態(tài)的分割結(jié)果，而后三行描述了不同解剖結(jié)構(gòu)的分割結(jié)果圖10: 單個圖像多目標(biāo)分割結(jié)果融合, 僅可視化 1 Point提示的結(jié)果。右邊為SAM的分割結(jié)果
SAM-Med2D通過在大規(guī)模醫(yī)學(xué)圖像數(shù)據(jù)集上微調(diào)來適應(yīng)各種醫(yī)學(xué)圖像場景。與預(yù)訓(xùn)練的SAM相比取得了令人滿意的性能改進和泛化能力。在同等分辨率時，F(xiàn)T-SAM在Bbox提示模式下實現(xiàn)了11.93％的提升，而SAM-Med2D實現(xiàn)了17.67％的提升。在單點提示模式下，SAM-Med2D表現(xiàn)出了壓倒性的優(yōu)勢 (18.94% vs. 70.01%)。 作者還對不同模型在解剖學(xué)結(jié)構(gòu)，不同成像模式和主要器官維度進行了綜合評估，SAM-Med2D在各方面優(yōu)于預(yù)訓(xùn)練的SAM和FT-SAM。此外，在9個MICCAI 2023數(shù)據(jù)集的泛化實驗證明了在大規(guī)模數(shù)據(jù)集上預(yù)訓(xùn)練的模型具有強大的領(lǐng)域可遷移性。尤其是使用點提示模式時，SAM-Med2D可以更快地生成所需的mask，甚至優(yōu)于其他方法使用 Bbox 提示模式的結(jié)果。未來作者團隊將繼續(xù)擴大數(shù)據(jù)規(guī)模、增加提示策略使SAM-Med2D具備醫(yī)療領(lǐng)域的“everything”能力。同時，SAM-Med2D的代碼和預(yù)訓(xùn)練模型將開放給社區(qū)使用，希望這項工作能讓醫(yī)學(xué)計算機視覺領(lǐng)域的研究人員受益。 歡迎醫(yī)院、研究院、高校、公司等機構(gòu)的合作，請郵件聯(lián)系hejunjun@pjlab.org.cn歡迎加入「醫(yī)學(xué)影像」交流群??備注：Med
|
