Propagación de Características Inspirada en Kalman para la Super-Resolución Facial en Videos

Kalman-Inspired Feature Propagation for Video Face Super-Resolution

August 9, 2024

Autores: Ruicheng Feng, Chongyi Li, Chen Change Loy

cs.AI

Resumen

A pesar del progreso prometedor en la superresolución de imágenes faciales, la superresolución de caras en videos sigue siendo relativamente poco explorada. Los enfoques existentes suelen adaptar redes generales de superresolución de videos a conjuntos de datos de caras o aplicar modelos establecidos de superresolución de imágenes faciales de forma independiente en cuadros de video individuales. Estos paradigmas enfrentan desafíos ya sea en la reconstrucción de detalles faciales o en la mantenimiento de la consistencia temporal. Para abordar estos problemas, presentamos un nuevo marco llamado Propagación de Características Inspirada en Kalman (KEEP), diseñado para mantener una prioridad facial estable en el tiempo. Los principios de filtrado de Kalman ofrecen a nuestro método una capacidad recurrente para utilizar la información de cuadros previamente restaurados para guiar y regular el proceso de restauración del cuadro actual. Experimentos extensos demuestran la efectividad de nuestro método en capturar detalles faciales de manera consistente a lo largo de los cuadros de video. El código y una demostración en video están disponibles en https://jnjaby.github.io/projects/KEEP.

English

Despite the promising progress of face image super-resolution, video face super-resolution remains relatively under-explored. Existing approaches either adapt general video super-resolution networks to face datasets or apply established face image super-resolution models independently on individual video frames. These paradigms encounter challenges either in reconstructing facial details or maintaining temporal consistency. To address these issues, we introduce a novel framework called Kalman-inspired Feature Propagation (KEEP), designed to maintain a stable face prior over time. The Kalman filtering principles offer our method a recurrent ability to use the information from previously restored frames to guide and regulate the restoration process of the current frame. Extensive experiments demonstrate the effectiveness of our method in capturing facial details consistently across video frames. Code and video demo are available at https://jnjaby.github.io/projects/KEEP.