EvTexture: Gebeurtenisgestuurde textuurverbetering voor video-superresolutie

EvTexture: Event-driven Texture Enhancement for Video Super-Resolution

June 19, 2024

Auteurs: Dachun Kai, Jiayao Lu, Yueyi Zhang, Xiaoyan Sun

cs.AI

Samenvatting

Event-based vision heeft steeds meer aandacht getrokken vanwege zijn unieke kenmerken, zoals een hoge temporele resolutie en een hoog dynamisch bereik. Het is recentelijk gebruikt in video-superresolutie (VSR) om de stromingsschatting en temporele uitlijning te verbeteren. In plaats van voor bewegingstraining, stellen we in dit artikel de eerste VSR-methode voor die eventsignalen benut voor textuurverbetering. Onze methode, genaamd EvTexture, maakt gebruik van hoogfrequente details van events om textuurgebieden in VSR beter te herstellen. In onze EvTexture wordt een nieuwe textuurverbeteringstak gepresenteerd. We introduceren verder een iteratieve textuurverbeteringsmodule om progressief de hoog-temporele-resolutie eventinformatie te verkennen voor textuurherstel. Hierdoor kunnen textuurgebieden geleidelijk worden verfijnd over meerdere iteraties, wat leidt tot nauwkeurigere en rijkere hoogresolutiedetails. Experimentele resultaten tonen aan dat onze EvTexture state-of-the-art prestaties behaalt op vier datasets. Voor de Vid4-dataset met rijke texturen kan onze methode een winst tot 4,67 dB behalen in vergelijking met recente event-based methoden. Code: https://github.com/DachunKai/EvTexture.

English

Event-based vision has drawn increasing attention due to its unique characteristics, such as high temporal resolution and high dynamic range. It has been used in video super-resolution (VSR) recently to enhance the flow estimation and temporal alignment. Rather than for motion learning, we propose in this paper the first VSR method that utilizes event signals for texture enhancement. Our method, called EvTexture, leverages high-frequency details of events to better recover texture regions in VSR. In our EvTexture, a new texture enhancement branch is presented. We further introduce an iterative texture enhancement module to progressively explore the high-temporal-resolution event information for texture restoration. This allows for gradual refinement of texture regions across multiple iterations, leading to more accurate and rich high-resolution details. Experimental results show that our EvTexture achieves state-of-the-art performance on four datasets. For the Vid4 dataset with rich textures, our method can get up to 4.67dB gain compared with recent event-based methods. Code: https://github.com/DachunKai/EvTexture.