摘要

雖然單幅圖像超分辨率(SISR)近年來吸引了大量的興趣，提出的方法僅限于學(xué)習(xí)圖像先驗(yàn)以添加高頻細(xì)節(jié)。相比之下，多幀超分辨率(MFSR)提供了通過結(jié)合多幅移位圖像的信號(hào)信息重建豐富細(xì)節(jié)的可能性。這一關(guān)鍵優(yōu)勢(shì)，隨著爆炸攝影的日益普及，已經(jīng)使MFSR成為現(xiàn)實(shí)世界應(yīng)用的一個(gè)重要問題。針對(duì)突發(fā)超分辨率任務(wù)，作者提出了一種新的結(jié)構(gòu)。作者的網(wǎng)絡(luò)以多個(gè)有噪聲的原始圖像作為輸入，生成一個(gè)去噪的、超分辨率的RGB圖像作為輸出。這是通過使用像素級(jí)光流明確地對(duì)齊輸入幀的深度嵌入來實(shí)現(xiàn)的。然后使用基于注意力的融合模塊自適應(yīng)地融合所有幀的信息。為了能夠?qū)φ鎸?shí)世界的數(shù)據(jù)進(jìn)行訓(xùn)練和評(píng)估，作者額外引入了由智能手機(jī)突發(fā)數(shù)據(jù)和高分辨率數(shù)碼單反地面真相數(shù)據(jù)集組成的the burst sr dataset。作者進(jìn)行全面的實(shí)驗(yàn)分析，以證明所建議的架構(gòu)的有效性。

1. 作者引入了第一個(gè)由原始爆發(fā)和相應(yīng)的HR地面真相組成的真實(shí)世界爆發(fā)超分辨率數(shù)據(jù)集。

2. 作者提出了一種新的MFSR體系結(jié)構(gòu)，該體系結(jié)構(gòu)可以使用手持相機(jī)捕捉到的突發(fā)數(shù)據(jù)進(jìn)行聯(lián)合去噪、demosaising和SR。

3. 作者的架構(gòu)采用了一種基于注意力的融合方法，自適應(yīng)地合并輸入圖像，以生成高質(zhì)量的HR輸出

4. 作者進(jìn)一步解決了在對(duì)真實(shí)世界數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)遇到的不對(duì)齊問題，通過引入一個(gè)損失函數(shù)，可以內(nèi)部糾正這些不對(duì)齊。

框架結(jié)構(gòu)

作者的burst超分辨率架構(gòu)概述

輸入突發(fā)中的每幅圖像首先獨(dú)立地通過編碼器傳遞。然后，使用對(duì)齊模塊預(yù)測(cè)的流向量將生成的特征映射彎曲到基幀(b1)坐標(biāo)。然后，利用權(quán)重預(yù)測(cè)器計(jì)算的融合權(quán)重，使用基于注意力的融合模塊對(duì)對(duì)齊的特征圖進(jìn)行融合。合并后的特征圖?e通過解碼器模塊得到超分辨的RGB圖像作為輸出。

實(shí)驗(yàn)結(jié)果

作者在Amazon Mechanical Turk上進(jìn)行了用戶研究，比較了這四種方法。作者在20個(gè)測(cè)試圖像上獲得每個(gè)網(wǎng)絡(luò)的HR預(yù)測(cè)。接下來，作者從20張測(cè)試圖像中隨機(jī)抽取15張200 × 200的作物。然后使用最近鄰插值法將300種作物的大小調(diào)整為400 × 400。作者向參與者展示真實(shí)的人力資源形象，以及網(wǎng)絡(luò)預(yù)測(cè)。要求被試根據(jù)所提供的單反參考圖像的視覺質(zhì)量對(duì)4種方法的預(yù)測(cè)結(jié)果進(jìn)行排序。網(wǎng)絡(luò)預(yù)測(cè)是匿名和隨機(jī)的，以避免任何偏見。作者對(duì)每種作物進(jìn)行了5個(gè)獨(dú)立的排名。所有作物的平均排名(MOR)以及某一方法排名第一的次數(shù)百分比(%Top)如表6所示。作者的方法的MOR為1.81，明顯優(yōu)于其他所有方法。此外，作者的方法在所有方法中以53.6%的次數(shù)位居最佳，是次最佳方法的2.5倍以上。作者還報(bào)告測(cè)試集上的PSNR、lpip和SSIM分?jǐn)?shù)，如第6.1節(jié)所述計(jì)算。圖8也提供了定性比較。作者的方法在所有三個(gè)指標(biāo)上都獲得了最好的結(jié)果，在PSNR方面比HighRes-net高出1.24 dB。

結(jié)論

作者解決了現(xiàn)實(shí)世界的多幀超分辨率問題。作者引入了一個(gè)新的數(shù)據(jù)集BurstSR，其中包含從手持相機(jī)捕獲的原始突發(fā)序列，以及使用變焦鏡頭獲得的相應(yīng)高分辨率地面真相。作者進(jìn)一步提出了一種多幀超分辨率網(wǎng)絡(luò)，通過基于注意的融合，可以自適應(yīng)地結(jié)合來自多個(gè)輸入圖像的信息。作者的方法在真實(shí)的突發(fā)事件中得到了很好的結(jié)果，優(yōu)于單幀和多幀的選擇。

論文鏈接：https:///pdf/2101.10997.pdf

每日?qǐng)?jiān)持論文分享不易，如果喜歡我們的內(nèi)容，希望可以推薦或者轉(zhuǎn)發(fā)給周圍的同學(xué)。

- END -

#投 稿 通 道#

 讓你的論文被更多人看到 

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。深度學(xué)習(xí)愛好者 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。 

深度學(xué)習(xí)愛好者 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來。

?? 來稿標(biāo)準(zhǔn)：

· 稿件確系個(gè)人原創(chuàng)作品，來稿需注明作者個(gè)人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向） 

· 如果文章并非首發(fā)，請(qǐng)?jiān)谕陡鍟r(shí)提醒并附上所有已發(fā)布鏈接 

· 深度學(xué)習(xí)愛好者 默認(rèn)每篇文章都是首發(fā)，均會(huì)添加“原創(chuàng)”標(biāo)志