EvTexture: Mejora de textura basada en eventos para la superresolución de video

EvTexture: Event-driven Texture Enhancement for Video Super-Resolution

June 19, 2024

Autores: Dachun Kai, Jiayao Lu, Yueyi Zhang, Xiaoyan Sun

cs.AI

Resumen

La visión basada en eventos ha captado una atención creciente debido a sus características únicas, como su alta resolución temporal y amplio rango dinámico. Recientemente, se ha utilizado en la super-resolución de video (VSR) para mejorar la estimación de flujo y la alineación temporal. En lugar de enfocarse en el aprendizaje de movimiento, en este artículo proponemos el primer método de VSR que utiliza señales de eventos para la mejora de texturas. Nuestro método, llamado EvTexture, aprovecha los detalles de alta frecuencia de los eventos para recuperar mejor las regiones de textura en VSR. En EvTexture, presentamos una nueva rama de mejora de texturas. Además, introducimos un módulo iterativo de mejora de texturas para explorar progresivamente la información de eventos de alta resolución temporal en la restauración de texturas. Esto permite un refinamiento gradual de las regiones de textura a través de múltiples iteraciones, lo que resulta en detalles de alta resolución más precisos y ricos. Los resultados experimentales muestran que nuestro EvTexture alcanza un rendimiento de vanguardia en cuatro conjuntos de datos. Para el conjunto de datos Vid4, que contiene texturas ricas, nuestro método puede obtener una mejora de hasta 4.67 dB en comparación con métodos recientes basados en eventos. Código: https://github.com/DachunKai/EvTexture.

English

Event-based vision has drawn increasing attention due to its unique characteristics, such as high temporal resolution and high dynamic range. It has been used in video super-resolution (VSR) recently to enhance the flow estimation and temporal alignment. Rather than for motion learning, we propose in this paper the first VSR method that utilizes event signals for texture enhancement. Our method, called EvTexture, leverages high-frequency details of events to better recover texture regions in VSR. In our EvTexture, a new texture enhancement branch is presented. We further introduce an iterative texture enhancement module to progressively explore the high-temporal-resolution event information for texture restoration. This allows for gradual refinement of texture regions across multiple iterations, leading to more accurate and rich high-resolution details. Experimental results show that our EvTexture achieves state-of-the-art performance on four datasets. For the Vid4 dataset with rich textures, our method can get up to 4.67dB gain compared with recent event-based methods. Code: https://github.com/DachunKai/EvTexture.