Propagação de Características Inspirada em Kalman para Super-Resolução Facial em Vídeos

Kalman-Inspired Feature Propagation for Video Face Super-Resolution

August 9, 2024

Autores: Ruicheng Feng, Chongyi Li, Chen Change Loy

cs.AI

Resumo

Apesar do progresso promissor na super resolução de imagens faciais, a super resolução de vídeos de rostos ainda é relativamente pouco explorada. As abordagens existentes geralmente adaptam redes gerais de super resolução de vídeos para conjuntos de dados de rostos ou aplicam modelos estabelecidos de super resolução de imagens faciais de forma independente em quadros de vídeo individuais. Esses paradigmas enfrentam desafios na reconstrução de detalhes faciais ou na manutenção da consistência temporal. Para lidar com essas questões, apresentamos um novo framework chamado Propagação de Características Inspirada em Kalman (KEEP), projetado para manter uma prioridade facial estável ao longo do tempo. Os princípios de filtragem de Kalman oferecem ao nosso método uma capacidade recorrente de utilizar as informações de quadros previamente restaurados para orientar e regular o processo de restauração do quadro atual. Experimentos extensos demonstram a eficácia do nosso método em capturar detalhes faciais de forma consistente em quadros de vídeo. O código e a demonstração em vídeo estão disponíveis em https://jnjaby.github.io/projects/KEEP.

English

Despite the promising progress of face image super-resolution, video face super-resolution remains relatively under-explored. Existing approaches either adapt general video super-resolution networks to face datasets or apply established face image super-resolution models independently on individual video frames. These paradigms encounter challenges either in reconstructing facial details or maintaining temporal consistency. To address these issues, we introduce a novel framework called Kalman-inspired Feature Propagation (KEEP), designed to maintain a stable face prior over time. The Kalman filtering principles offer our method a recurrent ability to use the information from previously restored frames to guide and regulate the restoration process of the current frame. Extensive experiments demonstrate the effectiveness of our method in capturing facial details consistently across video frames. Code and video demo are available at https://jnjaby.github.io/projects/KEEP.