EvTexture: Aprimoramento de Textura Orientado por Eventos para Super-Resolução de Vídeo

EvTexture: Event-driven Texture Enhancement for Video Super-Resolution

June 19, 2024

Autores: Dachun Kai, Jiayao Lu, Yueyi Zhang, Xiaoyan Sun

cs.AI

Resumo

A visão baseada em eventos tem atraído cada vez mais atenção devido às suas características únicas, como alta resolução temporal e ampla faixa dinâmica. Recentemente, ela tem sido utilizada na super-resolução de vídeo (VSR) para aprimorar a estimativa de fluxo e o alinhamento temporal. Em vez de ser usada para aprendizado de movimento, propomos neste artigo o primeiro método de VSR que utiliza sinais de eventos para o aprimoramento de textura. Nosso método, chamado EvTexture, aproveita os detalhes de alta frequência dos eventos para melhorar a recuperação de regiões de textura no VSR. Em nosso EvTexture, é apresentado um novo ramo de aprimoramento de textura. Introduzimos ainda um módulo iterativo de aprimoramento de textura para explorar progressivamente as informações de eventos de alta resolução temporal para restauração de textura. Isso permite o refinamento gradual das regiões de textura ao longo de múltiplas iterações, resultando em detalhes de alta resolução mais precisos e ricos. Os resultados experimentais mostram que nosso EvTexture alcança desempenho de ponta em quatro conjuntos de dados. Para o conjunto de dados Vid4 com texturas ricas, nosso método pode obter até 4,67dB a mais em comparação com métodos baseados em eventos recentes. Código: https://github.com/DachunKai/EvTexture.

English

Event-based vision has drawn increasing attention due to its unique characteristics, such as high temporal resolution and high dynamic range. It has been used in video super-resolution (VSR) recently to enhance the flow estimation and temporal alignment. Rather than for motion learning, we propose in this paper the first VSR method that utilizes event signals for texture enhancement. Our method, called EvTexture, leverages high-frequency details of events to better recover texture regions in VSR. In our EvTexture, a new texture enhancement branch is presented. We further introduce an iterative texture enhancement module to progressively explore the high-temporal-resolution event information for texture restoration. This allows for gradual refinement of texture regions across multiple iterations, leading to more accurate and rich high-resolution details. Experimental results show that our EvTexture achieves state-of-the-art performance on four datasets. For the Vid4 dataset with rich textures, our method can get up to 4.67dB gain compared with recent event-based methods. Code: https://github.com/DachunKai/EvTexture.