Propagazione delle Caratteristiche Ispirata a Kalman per la Super-Risoluzione di Volti in Video

Kalman-Inspired Feature Propagation for Video Face Super-Resolution

August 9, 2024

Autori: Ruicheng Feng, Chongyi Li, Chen Change Loy

cs.AI

Abstract

Nonostante i promettenti progressi nel super-risoluzione delle immagini di volti, il super-risoluzione video di volti rimane relativamente poco esplorato. Gli approcci esistenti adattano reti di super-risoluzione video generiche a dataset di volti o applicano modelli consolidati di super-risoluzione di immagini di volti in modo indipendente sui singoli fotogrammi video. Questi paradigmi incontrano sfide sia nella ricostruzione dei dettagli facciali che nel mantenimento della coerenza temporale. Per affrontare questi problemi, introduciamo un nuovo framework chiamato Kalman-inspired Feature Propagation (KEEP), progettato per mantenere una priorità stabile del volto nel tempo. I principi del filtraggio di Kalman offrono al nostro metodo una capacità ricorrente di utilizzare le informazioni dai fotogrammi precedentemente ripristinati per guidare e regolare il processo di ripristino del fotogramma corrente. Esperimenti estensivi dimostrano l'efficacia del nostro metodo nel catturare i dettagli facciali in modo coerente attraverso i fotogrammi video. Il codice e una demo video sono disponibili all'indirizzo https://jnjaby.github.io/projects/KEEP.

English

Despite the promising progress of face image super-resolution, video face super-resolution remains relatively under-explored. Existing approaches either adapt general video super-resolution networks to face datasets or apply established face image super-resolution models independently on individual video frames. These paradigms encounter challenges either in reconstructing facial details or maintaining temporal consistency. To address these issues, we introduce a novel framework called Kalman-inspired Feature Propagation (KEEP), designed to maintain a stable face prior over time. The Kalman filtering principles offer our method a recurrent ability to use the information from previously restored frames to guide and regulate the restoration process of the current frame. Extensive experiments demonstrate the effectiveness of our method in capturing facial details consistently across video frames. Code and video demo are available at https://jnjaby.github.io/projects/KEEP.