EvTexture: ビデオ超解像のためのイベント駆動型テクスチャ強化

EvTexture: Event-driven Texture Enhancement for Video Super-Resolution

June 19, 2024

著者: Dachun Kai, Jiayao Lu, Yueyi Zhang, Xiaoyan Sun

cs.AI

要旨

イベントベースのビジョンは、高い時間分解能と広いダイナミックレンジといった独自の特性から、近年注目を集めています。最近では、ビデオ超解像（VSR）において、フロー推定と時間的アラインメントを強化するために使用されています。本論文では、モーション学習ではなく、テクスチャ強化のためにイベント信号を活用する初のVSR手法を提案します。私たちの手法「EvTexture」は、イベントの高周波詳細を活用して、VSRにおけるテクスチャ領域をより良く復元します。EvTextureでは、新しいテクスチャ強化ブランチを導入しています。さらに、反復的なテクスチャ強化モジュールを提案し、高時間分解能のイベント情報を段階的に探索してテクスチャを復元します。これにより、複数の反復を通じてテクスチャ領域を徐々に洗練させ、より正確で豊かな高解像度の詳細を得ることができます。実験結果は、EvTextureが4つのデータセットにおいて最先端の性能を達成することを示しています。テクスチャが豊富なVid4データセットでは、最近のイベントベース手法と比較して最大4.67dBのゲインを得ることができます。コード: https://github.com/DachunKai/EvTexture。

English

Event-based vision has drawn increasing attention due to its unique characteristics, such as high temporal resolution and high dynamic range. It has been used in video super-resolution (VSR) recently to enhance the flow estimation and temporal alignment. Rather than for motion learning, we propose in this paper the first VSR method that utilizes event signals for texture enhancement. Our method, called EvTexture, leverages high-frequency details of events to better recover texture regions in VSR. In our EvTexture, a new texture enhancement branch is presented. We further introduce an iterative texture enhancement module to progressively explore the high-temporal-resolution event information for texture restoration. This allows for gradual refinement of texture regions across multiple iterations, leading to more accurate and rich high-resolution details. Experimental results show that our EvTexture achieves state-of-the-art performance on four datasets. For the Vid4 dataset with rich textures, our method can get up to 4.67dB gain compared with recent event-based methods. Code: https://github.com/DachunKai/EvTexture.