カルマンインスパイアード特徴伝播によるビデオ顔超解像

Kalman-Inspired Feature Propagation for Video Face Super-Resolution

August 9, 2024

著者: Ruicheng Feng, Chongyi Li, Chen Change Loy

cs.AI

要旨

顔画像の超解像技術は有望な進展を見せているものの、ビデオ顔超解像は比較的未開拓の領域である。既存の手法は、一般的なビデオ超解像ネットワークを顔データセットに適用するか、確立された顔画像超解像モデルを個々のビデオフレームに独立して適用するかのいずれかである。これらのパラダイムは、顔の詳細を再構築するか、時間的な一貫性を維持するかのいずれかに課題を抱えている。これらの問題に対処するため、我々はKalman-inspired Feature Propagation (KEEP)と呼ばれる新しいフレームワークを提案する。このフレームワークは、時間の経過とともに安定した顔の事前情報を維持するように設計されている。カルマンフィルタリングの原理により、我々の手法は以前に復元されたフレームからの情報を利用して、現在のフレームの復元プロセスを導き、調整する再帰的な能力を提供する。大規模な実験により、我々の手法がビデオフレーム全体で一貫して顔の詳細を捉える効果を実証している。コードとビデオデモはhttps://jnjaby.github.io/projects/KEEPで公開されている。

English

Despite the promising progress of face image super-resolution, video face super-resolution remains relatively under-explored. Existing approaches either adapt general video super-resolution networks to face datasets or apply established face image super-resolution models independently on individual video frames. These paradigms encounter challenges either in reconstructing facial details or maintaining temporal consistency. To address these issues, we introduce a novel framework called Kalman-inspired Feature Propagation (KEEP), designed to maintain a stable face prior over time. The Kalman filtering principles offer our method a recurrent ability to use the information from previously restored frames to guide and regulate the restoration process of the current frame. Extensive experiments demonstrate the effectiveness of our method in capturing facial details consistently across video frames. Code and video demo are available at https://jnjaby.github.io/projects/KEEP.