Вдохновленное фильтром Калмана распространение признаков для суперразрешения видеоизображений лиц.

Kalman-Inspired Feature Propagation for Video Face Super-Resolution

August 9, 2024

Авторы: Ruicheng Feng, Chongyi Li, Chen Change Loy

cs.AI

Аннотация

Несмотря на многообещающий прогресс в области суперразрешения изображений лиц, суперразрешение видеоизображений лиц остается относительно малоисследованным. Существующие подходы либо адаптируют общие сети суперразрешения видео к наборам данных с лицами, либо применяют установленные модели суперразрешения изображений лиц независимо к отдельным кадрам видео. Эти парадигмы сталкиваются с проблемами восстановления деталей лица или поддержания временной согласованности. Для решения этих проблем мы представляем новую структуру под названием KEEP (Kalman-inspired Feature Propagation), разработанную для поддержания стабильного приоритета лица во времени. Принципы фильтра Калмана предоставляют нашему методу рекуррентную способность использовать информацию из ранее восстановленных кадров для направления и регулирования процесса восстановления текущего кадра. Обширные эксперименты демонстрируют эффективность нашего метода в последовательном воспроизведении деталей лица на кадрах видео. Код и демонстрационное видео доступны по адресу https://jnjaby.github.io/projects/KEEP.

English

Despite the promising progress of face image super-resolution, video face super-resolution remains relatively under-explored. Existing approaches either adapt general video super-resolution networks to face datasets or apply established face image super-resolution models independently on individual video frames. These paradigms encounter challenges either in reconstructing facial details or maintaining temporal consistency. To address these issues, we introduce a novel framework called Kalman-inspired Feature Propagation (KEEP), designed to maintain a stable face prior over time. The Kalman filtering principles offer our method a recurrent ability to use the information from previously restored frames to guide and regulate the restoration process of the current frame. Extensive experiments demonstrate the effectiveness of our method in capturing facial details consistently across video frames. Code and video demo are available at https://jnjaby.github.io/projects/KEEP.