EvTexture: Улучшение текстуры на основе событий для видео супер-разрешения

EvTexture: Event-driven Texture Enhancement for Video Super-Resolution

June 19, 2024

Авторы: Dachun Kai, Jiayao Lu, Yueyi Zhang, Xiaoyan Sun

cs.AI

Аннотация

Событийное зрение привлекло все больше внимания благодаря своим уникальным характеристикам, таким как высокое временное разрешение и широкий динамический диапазон. Недавно оно было использовано в задаче суперразрешения видео (VSR) для улучшения оценки потока и временного выравнивания. Вместо обучения движения, мы предлагаем в этой статье первый метод VSR, который использует сигналы событий для улучшения текстуры. Наш метод, названный EvTexture, использует высокочастотные детали событий для более эффективного восстановления текстурных областей в VSR. В нашем EvTexture представлена новая ветвь улучшения текстуры. Мы также вводим итеративный модуль улучшения текстуры для постепенного исследования информации о событиях с высоким временным разрешением для восстановления текстуры. Это позволяет постепенно улучшать текстурные области на протяжении нескольких итераций, что приводит к более точным и насыщенным деталям высокого разрешения. Экспериментальные результаты показывают, что наш EvTexture достигает лучшей производительности на четырех наборах данных. Для набора данных Vid4 с насыщенными текстурами наш метод может обеспечить прирост до 4,67 дБ по сравнению с недавними методами на основе событий. Код: https://github.com/DachunKai/EvTexture.

English

Event-based vision has drawn increasing attention due to its unique characteristics, such as high temporal resolution and high dynamic range. It has been used in video super-resolution (VSR) recently to enhance the flow estimation and temporal alignment. Rather than for motion learning, we propose in this paper the first VSR method that utilizes event signals for texture enhancement. Our method, called EvTexture, leverages high-frequency details of events to better recover texture regions in VSR. In our EvTexture, a new texture enhancement branch is presented. We further introduce an iterative texture enhancement module to progressively explore the high-temporal-resolution event information for texture restoration. This allows for gradual refinement of texture regions across multiple iterations, leading to more accurate and rich high-resolution details. Experimental results show that our EvTexture achieves state-of-the-art performance on four datasets. For the Vid4 dataset with rich textures, our method can get up to 4.67dB gain compared with recent event-based methods. Code: https://github.com/DachunKai/EvTexture.