Kalman-inspirierte Merkmalsausbreitung für die Superauflösung von Gesichtern in Videos.

Kalman-Inspired Feature Propagation for Video Face Super-Resolution

August 9, 2024

Autoren: Ruicheng Feng, Chongyi Li, Chen Change Loy

cs.AI

Zusammenfassung

Trotz des vielversprechenden Fortschritts bei der Superauflösung von Gesichtsbildern ist die Superauflösung von Videogesichtern relativ unerforscht. Bestehende Ansätze passen entweder allgemeine Videogesichts-Superauflösungsnetzwerke an Gesichtsdatensätze an oder wenden etablierte Modelle zur Superauflösung von Gesichtsbildern unabhängig auf einzelne Videoframes an. Diese Paradigmen stoßen entweder auf Herausforderungen bei der Rekonstruktion von Gesichtsdetails oder beim Erhalt der zeitlichen Konsistenz. Um diese Probleme zu lösen, stellen wir ein neuartiges Framework namens Kalman-inspirierte Merkmalspropagation (KEEP) vor, das entwickelt wurde, um im Laufe der Zeit eine stabile Gesichtspriorität aufrechtzuerhalten. Die Kalman-Filterprinzipien verleihen unserer Methode die Fähigkeit zur wiederkehrenden Nutzung von Informationen aus zuvor wiederhergestellten Frames, um den Wiederherstellungsprozess des aktuellen Frames zu leiten und zu regulieren. Umfangreiche Experimente zeigen die Wirksamkeit unserer Methode bei der konsistenten Erfassung von Gesichtsdetails über Videoframes hinweg. Der Code und eine Videodemo sind unter https://jnjaby.github.io/projects/KEEP verfügbar.

English

Despite the promising progress of face image super-resolution, video face super-resolution remains relatively under-explored. Existing approaches either adapt general video super-resolution networks to face datasets or apply established face image super-resolution models independently on individual video frames. These paradigms encounter challenges either in reconstructing facial details or maintaining temporal consistency. To address these issues, we introduce a novel framework called Kalman-inspired Feature Propagation (KEEP), designed to maintain a stable face prior over time. The Kalman filtering principles offer our method a recurrent ability to use the information from previously restored frames to guide and regulate the restoration process of the current frame. Extensive experiments demonstrate the effectiveness of our method in capturing facial details consistently across video frames. Code and video demo are available at https://jnjaby.github.io/projects/KEEP.