陳根：SAM和IA撞出的驚艷火花

陳根談科技 2023-04-22 發(fā)布于陜西

展開全文

文/陳根

SAM一點(diǎn)，便可將內(nèi)容分割出來；再由IA一鍵，圖像修補(bǔ)完成。

4月初，由Meta發(fā)布的史上首個圖像分割基礎(chǔ)模型——SAM（Segment Anything Model）一上線，便得到了用戶的高度贊賞。短短幾天，SAM 的 GitHub 倉庫的Star數(shù)高達(dá)26k。

那么，SAM到底是何方神器呢？

作為一種基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分割模型，SAM主要通過計算相鄰像素之間的相似度來實(shí)現(xiàn)圖像分割。其核心思想是將每個像素的上下文信息與其自身進(jìn)行比較，以確定其應(yīng)該屬于哪個類別。為此，SAM 使用兩個不同的卷積層來計算每個像素與其周圍像素之間的相似度。第一個是空間卷積層，計算像素之間的空間關(guān)系；第二個是通道卷積層，計算像素之間的相似度。

SAM 還使用了一種稱為空間親和力機(jī)制的技術(shù)來進(jìn)一步提高圖像分割的準(zhǔn)確性。所謂空間親和力機(jī)制，是指通過計算每個像素與其鄰居之間的相似度來評估像素之間的空間關(guān)系，然后將這些相似度值轉(zhuǎn)換成空間親和力矩陣。該矩陣被用來調(diào)整每個像素之間的相似度，從而更好地捕捉像素之間的空間依賴關(guān)系。

當(dāng)SAM遇上圖像修補(bǔ)任務(wù)，又會碰撞出怎樣的燦爛火花呢？

來自中國科學(xué)技術(shù)大學(xué)和東方理工高等研究院的研究團(tuán)隊(duì)給出了令人驚艷的答案。基于SAM，他們首次嘗試無需掩碼的圖像修復(fù)，并構(gòu)建了“點(diǎn)擊再填充”的圖像修補(bǔ)新范式，被稱為“修補(bǔ)一切”（Inpaint Anything，簡稱IA）模型。

在IA模型中，SAM發(fā)揮著兩方面的應(yīng)用功能：

首先，SAM通過對圖像進(jìn)行分割，提取需要修復(fù)的區(qū)域；其次，SAM利用其在圖像分割中的優(yōu)秀表現(xiàn)和空間親和力機(jī)制幫助模型更好地理解圖像的語義信息，從而提高圖像修補(bǔ)的準(zhǔn)確性和效果。區(qū)別于傳統(tǒng)圖像修補(bǔ)模型，IA 模型無需精細(xì)化操作生成掩碼，只要一鍵點(diǎn)擊，標(biāo)記選定對象，即可實(shí)現(xiàn)移除一切物體（Remove Anything）、填補(bǔ)一切內(nèi)容（Fill Anything）、替換一切場景（Replace Anything），涵蓋了包括目標(biāo)移除、目標(biāo)填充、背景替換等在內(nèi)的多種典型圖像修補(bǔ)應(yīng)用場景。

結(jié)合了SAM、LaMa和AIGC等視覺基礎(chǔ)模型的IA，真正意義上實(shí)現(xiàn)了對用戶操作友好的無掩碼化圖像修復(fù)，同時支持“點(diǎn)擊刪除，提示填充”等“傻瓜式”人性化操作。未來，研究者將進(jìn)一步挖掘IA的潛力以支持更多實(shí)用的新功能。

本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間，所有內(nèi)容均由用戶發(fā)布，不代表本站觀點(diǎn)。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息，謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請點(diǎn)擊一鍵舉報。

轉(zhuǎn)藏 分享

QQ空間 QQ好友新浪微博微信

獻(xiàn)花（0） +1

來自：陳根談科技 > 《待分類》

舉報/認(rèn)領(lǐng)