EvTexture: 비디오 초해상도를 위한 이벤트 기반 텍스처 향상

EvTexture: Event-driven Texture Enhancement for Video Super-Resolution

June 19, 2024

저자: Dachun Kai, Jiayao Lu, Yueyi Zhang, Xiaoyan Sun

cs.AI

초록

이벤트 기반 비전은 높은 시간 해상도와 높은 동적 범위와 같은 독특한 특성으로 인해 점점 더 많은 관심을 받고 있습니다. 최근에는 비디오 초해상도(VSR)에서 흐름 추정과 시간적 정렬을 개선하기 위해 사용되고 있습니다. 본 논문에서는 모션 학습이 아닌 텍스처 향상을 위해 이벤트 신호를 활용한 최초의 VSR 방법을 제안합니다. 우리의 방법인 EvTexture는 이벤트의 고주파수 세부 정보를 활용하여 VSR에서 텍스처 영역을 더 잘 복원합니다. EvTexture에서는 새로운 텍스처 향상 분기를 제시합니다. 또한, 텍스처 복원을 위해 고시간 해상도의 이벤트 정보를 점진적으로 탐색하는 반복적 텍스처 향상 모듈을 도입했습니다. 이를 통해 여러 반복에 걸쳐 텍스처 영역을 점진적으로 개선하여 더 정확하고 풍부한 고해상도 세부 정보를 얻을 수 있습니다. 실험 결과, 우리의 EvTexture는 네 가지 데이터셋에서 최첨단 성능을 달성했습니다. 특히 텍스처가 풍부한 Vid4 데이터셋에서 최근의 이벤트 기반 방법과 비교하여 최대 4.67dB의 성능 향상을 보였습니다. 코드: https://github.com/DachunKai/EvTexture.

English

Event-based vision has drawn increasing attention due to its unique characteristics, such as high temporal resolution and high dynamic range. It has been used in video super-resolution (VSR) recently to enhance the flow estimation and temporal alignment. Rather than for motion learning, we propose in this paper the first VSR method that utilizes event signals for texture enhancement. Our method, called EvTexture, leverages high-frequency details of events to better recover texture regions in VSR. In our EvTexture, a new texture enhancement branch is presented. We further introduce an iterative texture enhancement module to progressively explore the high-temporal-resolution event information for texture restoration. This allows for gradual refinement of texture regions across multiple iterations, leading to more accurate and rich high-resolution details. Experimental results show that our EvTexture achieves state-of-the-art performance on four datasets. For the Vid4 dataset with rich textures, our method can get up to 4.67dB gain compared with recent event-based methods. Code: https://github.com/DachunKai/EvTexture.