비디오 얼굴 초해상화를 위한 칼만 기법 영감을 받은 특징 전파

Kalman-Inspired Feature Propagation for Video Face Super-Resolution

August 9, 2024

저자: Ruicheng Feng, Chongyi Li, Chen Change Loy

cs.AI

초록

얼굴 이미지 초해상화의 유망한 진전에도 불구하고, 비디오 얼굴 초해상화는 비교적 탐구되지 않은 상태입니다. 기존 접근 방식은 일반 비디오 초해상화 네트워크를 얼굴 데이터셋에 적응시키거나 개별 비디오 프레임에 독립적으로 확립된 얼굴 이미지 초해상화 모델을 적용합니다. 이러한 패러다임은 얼굴 세부사항을 재구성하거나 시간적 일관성을 유지하는 데 어려움을 겪습니다. 이러한 문제를 해결하기 위해, 우리는 Kalman 필터링 원칙을 활용한 안정적인 얼굴 선행을 유지하는 KEEP(Kalman-inspired Feature Propagation)라는 새로운 프레임워크를 소개합니다. 이 원칙은 이전에 복원된 프레임에서의 정보를 사용하여 현재 프레임의 복원 과정을 안내하고 조절하는 재귀 능력을 제공합니다. 광범위한 실험을 통해 우리의 방법이 비디오 프레임 전체에서 일관되게 얼굴 세부사항을 포착하는 데 효과적임을 입증했습니다. 코드와 비디오 데모는 https://jnjaby.github.io/projects/KEEP에서 확인할 수 있습니다.

English

Despite the promising progress of face image super-resolution, video face super-resolution remains relatively under-explored. Existing approaches either adapt general video super-resolution networks to face datasets or apply established face image super-resolution models independently on individual video frames. These paradigms encounter challenges either in reconstructing facial details or maintaining temporal consistency. To address these issues, we introduce a novel framework called Kalman-inspired Feature Propagation (KEEP), designed to maintain a stable face prior over time. The Kalman filtering principles offer our method a recurrent ability to use the information from previously restored frames to guide and regulate the restoration process of the current frame. Extensive experiments demonstrate the effectiveness of our method in capturing facial details consistently across video frames. Code and video demo are available at https://jnjaby.github.io/projects/KEEP.