近日,中國科學(xué)院合肥物質(zhì)院智能所仿生智能技術(shù)研究中心黃炫和韋虎課題組與中國科學(xué)技術(shù)大學(xué)、中國礦業(yè)大學(xué)與清華大學(xué)部分課題組合作完成的文章“Efficient Multi-scale Network with Learnable Discrete Wavelet Transform for Blind Motion Deblurring”被計(jì)算機(jī)視覺和模式識別領(lǐng)域的頂級會(huì)議Conference on Computer Vision and Pattern Recognition(CVPR)接收發(fā)表。
單圖像運(yùn)動(dòng)模糊去除旨在消除被未知模糊核破壞的退化圖像中的所存在的運(yùn)動(dòng)模糊現(xiàn)象,恢復(fù)圖像的清晰銳化版本,使得質(zhì)量退化的模糊圖像恢復(fù)其原本的價(jià)值。此外,圖像運(yùn)動(dòng)模糊的消除也有利于幫助語義分割、目標(biāo)檢測、目標(biāo)追蹤等下游應(yīng)用提高準(zhǔn)確率和魯棒性,具有重要的研究價(jià)值。由粗到細(xì)的方案被廣泛應(yīng)用于傳統(tǒng)的單圖像運(yùn)動(dòng)去模糊中,然而,在深度學(xué)習(xí)的背景下,現(xiàn)有的多尺度算法不僅需要使用復(fù)雜的模塊對低分辨率RGB 域圖像和深度語義進(jìn)行特征融合,還需要手動(dòng)生成置信度不足的低分辨率圖像對。
在該項(xiàng)工作中,科研團(tuán)隊(duì)提出了一種基于單輸入多輸出(SIMO)的多尺度運(yùn)動(dòng)去模糊網(wǎng)絡(luò),簡化了現(xiàn)有基于由粗到細(xì)方案算法的復(fù)雜性。同時(shí),為了減輕使用多尺度架構(gòu)帶來的細(xì)節(jié)信息修復(fù)缺陷,團(tuán)隊(duì)將真實(shí)世界的模糊軌跡特征與可學(xué)習(xí)的小波變換模塊相結(jié)合,重點(diǎn)關(guān)注從模糊圖像到清晰圖像之間逐步復(fù)原的方向連續(xù)性和頻率特性。團(tuán)隊(duì)創(chuàng)新了一種具有可學(xué)習(xí)離散小波變換的多尺度網(wǎng)絡(luò)(MLWNet),它在多個(gè)真實(shí)世界的模糊數(shù)據(jù)集上,無論在主觀和客觀質(zhì)量方面,還是計(jì)算效率方面,都表現(xiàn)出了最先進(jìn)的性能。
智能所碩士研究生邱天衡為共同第一作者,黃炫副研究員為共同通訊作者,該項(xiàng)工作得到了國家自然科學(xué)基金與國家高技術(shù)研究發(fā)展計(jì)劃的支持。
CVPR 是計(jì)算機(jī)視覺方向的三大頂級會(huì)議之一。根據(jù)谷歌學(xué)術(shù)公布的2022年最新學(xué)術(shù)期刊和會(huì)議影響力排名,CVPR在所有學(xué)術(shù)刊物中位居第4,僅次于Nature、NEJM和Science。
文章鏈接:https://arxiv.org/abs/2401.00027v2

MLWNet與其他sota模型在RealBlur-J測試集上的對比結(jié)果示意圖

MLWNet模型架構(gòu)圖

MLWNet與其他sota模型在RSBlur測試集上的可視化結(jié)果對比圖