Kalman-geïnspireerde kenmerkpropagatie voor videogegezichtsuperresolutie

Kalman-Inspired Feature Propagation for Video Face Super-Resolution

August 9, 2024

Auteurs: Ruicheng Feng, Chongyi Li, Chen Change Loy

cs.AI

Samenvatting

Ondanks de veelbelovende vooruitgang in superresolutie van gezichtsafbeeldingen, blijft superresolutie van gezichten in video's relatief onderbelicht. Bestaande benaderingen passen ofwel algemene superresolutienetwerken voor video's aan op gezichtsdatasets, ofwel passen gevestigde superresolutiemodellen voor gezichtsafbeeldingen onafhankelijk toe op individuele videoframes. Deze paradigma's kampen met uitdagingen bij het reconstrueren van gezichtsdetails of het behouden van temporele consistentie. Om deze problemen aan te pakken, introduceren we een nieuw raamwerk genaamd Kalman-inspired Feature Propagation (KEEP), ontworpen om een stabiele gezichtsvoorkennis in de tijd te behouden. De principes van Kalman-filtering bieden onze methode een terugkerend vermogen om informatie van eerder herstelde frames te gebruiken om het herstelproces van het huidige frame te begeleiden en te reguleren. Uitgebreide experimenten tonen de effectiviteit van onze methode aan in het consistent vastleggen van gezichtsdetails over videoframes. Code en videodemo zijn beschikbaar op https://jnjaby.github.io/projects/KEEP.

English

Despite the promising progress of face image super-resolution, video face super-resolution remains relatively under-explored. Existing approaches either adapt general video super-resolution networks to face datasets or apply established face image super-resolution models independently on individual video frames. These paradigms encounter challenges either in reconstructing facial details or maintaining temporal consistency. To address these issues, we introduce a novel framework called Kalman-inspired Feature Propagation (KEEP), designed to maintain a stable face prior over time. The Kalman filtering principles offer our method a recurrent ability to use the information from previously restored frames to guide and regulate the restoration process of the current frame. Extensive experiments demonstrate the effectiveness of our method in capturing facial details consistently across video frames. Code and video demo are available at https://jnjaby.github.io/projects/KEEP.