VLOGGER : Synthèse d'avatars incarnés par diffusion multimodale

VLOGGER: Multimodal Diffusion for Embodied Avatar Synthesis

March 13, 2024

Auteurs: Enric Corona, Andrei Zanfir, Eduard Gabriel Bazavan, Nikos Kolotouros, Thiemo Alldieck, Cristian Sminchisescu

cs.AI

Résumé

Nous proposons VLOGGER, une méthode pour la génération de vidéos humaines pilotées par l'audio à partir d'une seule image d'entrée d'une personne, qui s'appuie sur les succès récents des modèles génératifs de diffusion. Notre méthode se compose de 1) un modèle stochastique de diffusion de mouvement humain vers la 3D, et 2) une architecture novatrice basée sur la diffusion qui enrichit les modèles de texte-à-image avec des contrôles spatiaux et temporels. Cela permet la génération de vidéos de haute qualité de longueur variable, facilement contrôlables via des représentations de haut niveau des visages et des corps humains. Contrairement aux travaux précédents, notre méthode ne nécessite pas d'entraînement pour chaque personne, ne repose pas sur la détection et le recadrage des visages, génère l'image complète (pas seulement le visage ou les lèvres), et prend en compte un large éventail de scénarios (par exemple, torse visible ou identités variées des sujets) qui sont essentiels pour synthétiser correctement des humains en communication. Nous avons également constitué MENTOR, un nouveau jeu de données diversifié avec des annotations de pose 3D et d'expressions, d'un ordre de grandeur supérieur aux précédents (800 000 identités) et incluant des gestes dynamiques, sur lequel nous entraînons et évaluons nos principales contributions techniques. VLOGGER surpasse les méthodes de pointe sur trois benchmarks publics, en termes de qualité d'image, de préservation de l'identité et de cohérence temporelle, tout en générant des gestes du haut du corps. Nous analysons les performances de VLOGGER selon plusieurs métriques de diversité, montrant que nos choix architecturaux et l'utilisation de MENTOR favorisent l'entraînement d'un modèle juste et non biaisé à grande échelle. Enfin, nous présentons des applications dans l'édition vidéo et la personnalisation.

English

We propose VLOGGER, a method for audio-driven human video generation from a single input image of a person, which builds on the success of recent generative diffusion models. Our method consists of 1) a stochastic human-to-3d-motion diffusion model, and 2) a novel diffusion-based architecture that augments text-to-image models with both spatial and temporal controls. This supports the generation of high quality video of variable length, easily controllable through high-level representations of human faces and bodies. In contrast to previous work, our method does not require training for each person, does not rely on face detection and cropping, generates the complete image (not just the face or the lips), and considers a broad spectrum of scenarios (e.g. visible torso or diverse subject identities) that are critical to correctly synthesize humans who communicate. We also curate MENTOR, a new and diverse dataset with 3d pose and expression annotations, one order of magnitude larger than previous ones (800,000 identities) and with dynamic gestures, on which we train and ablate our main technical contributions. VLOGGER outperforms state-of-the-art methods in three public benchmarks, considering image quality, identity preservation and temporal consistency while also generating upper-body gestures. We analyze the performance of VLOGGER with respect to multiple diversity metrics, showing that our architectural choices and the use of MENTOR benefit training a fair and unbiased model at scale. Finally we show applications in video editing and personalization.