EvTexture : Amélioration événementielle de la texture pour la super-résolution vidéo

EvTexture: Event-driven Texture Enhancement for Video Super-Resolution

June 19, 2024

Auteurs: Dachun Kai, Jiayao Lu, Yueyi Zhang, Xiaoyan Sun

cs.AI

Résumé

La vision événementielle a suscité un intérêt croissant en raison de ses caractéristiques uniques, telles que sa haute résolution temporelle et sa grande plage dynamique. Elle a récemment été utilisée dans la super-résolution vidéo (VSR) pour améliorer l'estimation du flux et l'alignement temporel. Plutôt que pour l'apprentissage du mouvement, nous proposons dans cet article la première méthode VSR qui exploite les signaux événementiels pour l'amélioration des textures. Notre méthode, appelée EvTexture, tire parti des détails haute fréquence des événements pour mieux restaurer les régions texturées en VSR. Dans EvTexture, une nouvelle branche d'amélioration des textures est présentée. Nous introduisons en outre un module d'amélioration itérative des textures pour explorer progressivement les informations événementielles à haute résolution temporelle en vue de la restauration des textures. Cela permet un affinement graduel des régions texturées à travers plusieurs itérations, conduisant à des détails haute résolution plus précis et riches. Les résultats expérimentaux montrent que notre EvTexture atteint des performances de pointe sur quatre jeux de données. Pour le jeu de données Vid4, riche en textures, notre méthode peut obtenir un gain allant jusqu'à 4,67 dB par rapport aux méthodes récentes basées sur les événements. Code : https://github.com/DachunKai/EvTexture.

English

Event-based vision has drawn increasing attention due to its unique characteristics, such as high temporal resolution and high dynamic range. It has been used in video super-resolution (VSR) recently to enhance the flow estimation and temporal alignment. Rather than for motion learning, we propose in this paper the first VSR method that utilizes event signals for texture enhancement. Our method, called EvTexture, leverages high-frequency details of events to better recover texture regions in VSR. In our EvTexture, a new texture enhancement branch is presented. We further introduce an iterative texture enhancement module to progressively explore the high-temporal-resolution event information for texture restoration. This allows for gradual refinement of texture regions across multiple iterations, leading to more accurate and rich high-resolution details. Experimental results show that our EvTexture achieves state-of-the-art performance on four datasets. For the Vid4 dataset with rich textures, our method can get up to 4.67dB gain compared with recent event-based methods. Code: https://github.com/DachunKai/EvTexture.