Propagation de caractéristiques inspirée de Kalman pour la super-résolution de visages en vidéo

Kalman-Inspired Feature Propagation for Video Face Super-Resolution

August 9, 2024

Auteurs: Ruicheng Feng, Chongyi Li, Chen Change Loy

cs.AI

Résumé

Malgré les progrès prometteurs de la super-résolution d'images faciales, la super-résolution vidéo de visages reste relativement peu explorée. Les approches existantes adaptent soit des réseaux généraux de super-résolution vidéo aux ensembles de données de visages, soit appliquent des modèles établis de super-résolution d'images faciales de manière indépendante sur des trames vidéo individuelles. Ces paradigmes rencontrent des difficultés soit dans la reconstruction des détails faciaux, soit dans le maintien de la cohérence temporelle. Pour résoudre ces problèmes, nous introduisons un nouveau cadre appelé Propagation de Caractéristiques Inspirée de Kalman (KEEP), conçu pour maintenir un a priori facial stable dans le temps. Les principes de filtrage de Kalman offrent à notre méthode une capacité récurrente à utiliser les informations des trames précédemment restaurées pour guider et réguler le processus de restauration de la trame actuelle. Des expériences approfondies démontrent l'efficacité de notre méthode à capturer de manière cohérente les détails faciaux à travers les trames vidéo. Le code et une démonstration vidéo sont disponibles à l'adresse https://jnjaby.github.io/projects/KEEP.

English

Despite the promising progress of face image super-resolution, video face super-resolution remains relatively under-explored. Existing approaches either adapt general video super-resolution networks to face datasets or apply established face image super-resolution models independently on individual video frames. These paradigms encounter challenges either in reconstructing facial details or maintaining temporal consistency. To address these issues, we introduce a novel framework called Kalman-inspired Feature Propagation (KEEP), designed to maintain a stable face prior over time. The Kalman filtering principles offer our method a recurrent ability to use the information from previously restored frames to guide and regulate the restoration process of the current frame. Extensive experiments demonstrate the effectiveness of our method in capturing facial details consistently across video frames. Code and video demo are available at https://jnjaby.github.io/projects/KEEP.