EvTexture: Ereignisgesteuerte Texturverbesserung für die Videosuperauflösung

EvTexture: Event-driven Texture Enhancement for Video Super-Resolution

June 19, 2024

Autoren: Dachun Kai, Jiayao Lu, Yueyi Zhang, Xiaoyan Sun

cs.AI

Zusammenfassung

Event-basierte Vision hat aufgrund ihrer einzigartigen Merkmale wie hoher zeitlicher Auflösung und hohem Dynamikumfang zunehmend an Bedeutung gewonnen. In letzter Zeit wurde sie in der Videoupskalierung (VSR) eingesetzt, um die Flussschätzung und zeitliche Ausrichtung zu verbessern. Anstatt für die Bewegungserkennung schlagen wir in diesem Papier die erste VSR-Methode vor, die Ereignissignale zur Texturverbesserung nutzt. Unsere Methode, namens EvTexture, nutzt hochfrequente Details von Ereignissen, um Texturbereiche in der VSR besser wiederherzustellen. In unserem EvTexture wird ein neuer Texturverbesserungszweig präsentiert. Wir führen außerdem ein iteratives Texturverbesserungsmodul ein, um schrittweise die hochauflösenden Ereignisinformationen zur Texturwiederherstellung zu erkunden. Dies ermöglicht eine allmähliche Verfeinerung der Texturbereiche über mehrere Iterationen hinweg, was zu genaueren und reichhaltigeren hochauflösenden Details führt. Experimentelle Ergebnisse zeigen, dass unser EvTexture auf vier Datensätzen eine Spitzenleistung erzielt. Für den Datensatz Vid4 mit reichhaltigen Texturen kann unsere Methode im Vergleich zu aktuellen ereignisbasierten Methoden einen Gewinn von bis zu 4,67 dB erzielen. Code: https://github.com/DachunKai/EvTexture.

English

Event-based vision has drawn increasing attention due to its unique characteristics, such as high temporal resolution and high dynamic range. It has been used in video super-resolution (VSR) recently to enhance the flow estimation and temporal alignment. Rather than for motion learning, we propose in this paper the first VSR method that utilizes event signals for texture enhancement. Our method, called EvTexture, leverages high-frequency details of events to better recover texture regions in VSR. In our EvTexture, a new texture enhancement branch is presented. We further introduce an iterative texture enhancement module to progressively explore the high-temporal-resolution event information for texture restoration. This allows for gradual refinement of texture regions across multiple iterations, leading to more accurate and rich high-resolution details. Experimental results show that our EvTexture achieves state-of-the-art performance on four datasets. For the Vid4 dataset with rich textures, our method can get up to 4.67dB gain compared with recent event-based methods. Code: https://github.com/DachunKai/EvTexture.