VividFace: Гибридная структура на основе диффузии для высококачественного видеообмена лицами.

VividFace: A Diffusion-Based Hybrid Framework for High-Fidelity Video Face Swapping

December 15, 2024

Авторы: Hao Shao, Shulun Wang, Yang Zhou, Guanglu Song, Dailan He, Shuo Qin, Zhuofan Zong, Bingqi Ma, Yu Liu, Hongsheng Li

cs.AI

Аннотация

Видео-замена лиц становится все более популярной в различных приложениях, однако существующие методы в основном сосредотачиваются на статических изображениях и испытывают трудности с видео-заменой лиц из-за временной согласованности и сложных сценариев. В данной статье мы представляем первую основанную на диффузии концепцию, специально разработанную для видео-замены лиц. Наш подход вводит новую гибридную обучающую структуру изображение-видео, которая использует как обширные данные статических изображений, так и временные видео-последовательности, решая врожденные ограничения обучения только на видео. Структура включает специально разработанную модель диффузии, совмещенную с VidFaceVAE, которая эффективно обрабатывает оба типа данных для лучшего сохранения временной согласованности созданных видео. Для дальнейшего разделения признаков личности и позы мы создаем набор данных Attribute-Identity Disentanglement Triplet (AIDT), где каждая тройка содержит три лицевых изображения, причем два изображения имеют одну и ту же позу, а два других - одну и ту же личность. Улучшенный комплексный набор данных с дополнительным заслонением также повышает устойчивость к заслонкам. Кроме того, мы интегрируем техники трехмерной реконструкции в качестве входного условия для нашей сети для обработки больших изменений поз. Обширные эксперименты показывают, что наша структура достигает превосходных результатов в сохранении идентичности, временной согласованности и визуального качества по сравнению с существующими методами, требуя при этом меньшего количества шагов вывода. Наш подход эффективно смягчает основные проблемы видео-замены лиц, включая временное мерцание, сохранение идентичности, устойчивость к заслонкам и изменениям поз.

English

Video face swapping is becoming increasingly popular across various applications, yet existing methods primarily focus on static images and struggle with video face swapping because of temporal consistency and complex scenarios. In this paper, we present the first diffusion-based framework specifically designed for video face swapping. Our approach introduces a novel image-video hybrid training framework that leverages both abundant static image data and temporal video sequences, addressing the inherent limitations of video-only training. The framework incorporates a specially designed diffusion model coupled with a VidFaceVAE that effectively processes both types of data to better maintain temporal coherence of the generated videos. To further disentangle identity and pose features, we construct the Attribute-Identity Disentanglement Triplet (AIDT) Dataset, where each triplet has three face images, with two images sharing the same pose and two sharing the same identity. Enhanced with a comprehensive occlusion augmentation, this dataset also improves robustness against occlusions. Additionally, we integrate 3D reconstruction techniques as input conditioning to our network for handling large pose variations. Extensive experiments demonstrate that our framework achieves superior performance in identity preservation, temporal consistency, and visual quality compared to existing methods, while requiring fewer inference steps. Our approach effectively mitigates key challenges in video face swapping, including temporal flickering, identity preservation, and robustness to occlusions and pose variations.