EvTexture: Miglioramento della Texture basato su Eventi per la Super-Risoluzione Video

EvTexture: Event-driven Texture Enhancement for Video Super-Resolution

June 19, 2024

Autori: Dachun Kai, Jiayao Lu, Yueyi Zhang, Xiaoyan Sun

cs.AI

Abstract

La visione basata su eventi ha attirato un'attenzione crescente grazie alle sue caratteristiche uniche, come l'elevata risoluzione temporale e l'ampia gamma dinamica. Recentemente è stata utilizzata nella super-risoluzione video (VSR) per migliorare la stima del flusso e l'allineamento temporale. Piuttosto che per l'apprendimento del movimento, in questo articolo proponiamo il primo metodo VSR che utilizza i segnali di eventi per il miglioramento della texture. Il nostro metodo, chiamato EvTexture, sfrutta i dettagli ad alta frequenza degli eventi per recuperare meglio le regioni di texture nella VSR. Nel nostro EvTexture, viene presentato un nuovo ramo di miglioramento della texture. Introduciamo inoltre un modulo iterativo di miglioramento della texture per esplorare progressivamente le informazioni ad alta risoluzione temporale degli eventi per il ripristino della texture. Ciò consente un affinamento graduale delle regioni di texture attraverso più iterazioni, portando a dettagli ad alta risoluzione più accurati e ricchi. I risultati sperimentali mostrano che il nostro EvTexture raggiunge prestazioni all'avanguardia su quattro dataset. Per il dataset Vid4 con texture ricche, il nostro metodo può ottenere un guadagno fino a 4.67dB rispetto ai recenti metodi basati su eventi. Codice: https://github.com/DachunKai/EvTexture.

English

Event-based vision has drawn increasing attention due to its unique characteristics, such as high temporal resolution and high dynamic range. It has been used in video super-resolution (VSR) recently to enhance the flow estimation and temporal alignment. Rather than for motion learning, we propose in this paper the first VSR method that utilizes event signals for texture enhancement. Our method, called EvTexture, leverages high-frequency details of events to better recover texture regions in VSR. In our EvTexture, a new texture enhancement branch is presented. We further introduce an iterative texture enhancement module to progressively explore the high-temporal-resolution event information for texture restoration. This allows for gradual refinement of texture regions across multiple iterations, leading to more accurate and rich high-resolution details. Experimental results show that our EvTexture achieves state-of-the-art performance on four datasets. For the Vid4 dataset with rich textures, our method can get up to 4.67dB gain compared with recent event-based methods. Code: https://github.com/DachunKai/EvTexture.