VLOGGER: Multimodale Diffusion für die Synthese von verkörperten Avataren

VLOGGER: Multimodal Diffusion for Embodied Avatar Synthesis

March 13, 2024

Autoren: Enric Corona, Andrei Zanfir, Eduard Gabriel Bazavan, Nikos Kolotouros, Thiemo Alldieck, Cristian Sminchisescu

cs.AI

Zusammenfassung

Wir schlagen VLOGGER vor, eine Methode zur audiogetriebenen Generierung von menschlichen Videos aus einem einzigen Eingabebild einer Person, die auf dem Erfolg aktueller generativer Diffusionsmodelle aufbaut. Unsere Methode besteht aus 1) einem stochastischen Human-zu-3D-Bewegungs-Diffusionsmodell und 2) einer neuartigen diffusionsbasierten Architektur, die Text-zu-Bild-Modelle mit sowohl räumlichen als auch zeitlichen Steuerelementen erweitert. Dies unterstützt die Generierung von qualitativ hochwertigen Videos variabler Länge, die einfach über hochrangige Repräsentationen von menschlichen Gesichtern und Körpern steuerbar sind. Im Gegensatz zu früheren Arbeiten erfordert unsere Methode kein Training für jede Person, ist nicht auf Gesichtserkennung und Zuschneiden angewiesen, generiert das vollständige Bild (nicht nur das Gesicht oder die Lippen) und berücksichtigt ein breites Spektrum von Szenarien (z. B. sichtbarer Rumpf oder verschiedene Identitäten), die entscheidend sind, um Menschen korrekt zu synthetisieren, die kommunizieren. Wir kuratieren auch MENTOR, einen neuen und vielfältigen Datensatz mit 3D-Posen- und Ausdrucksannotationen, der eine Größenordnung größer ist als frühere (800.000 Identitäten) und mit dynamischen Gesten, auf denen wir unsere Haupttechnikbeiträge trainieren und abtasten. VLOGGER übertrifft state-of-the-art Methoden in drei öffentlichen Benchmarks hinsichtlich Bildqualität, Identitätserhaltung und zeitlicher Konsistenz, während es auch Oberkörpergesten generiert. Wir analysieren die Leistung von VLOGGER in Bezug auf mehrere Diversitätsmetriken und zeigen, dass unsere architektonischen Entscheidungen und die Verwendung von MENTOR dazu beitragen, ein faires und unvoreingenommenes Modell im großen Maßstab zu trainieren. Schließlich zeigen wir Anwendungen in der Videobearbeitung und Personalisierung.

English

We propose VLOGGER, a method for audio-driven human video generation from a single input image of a person, which builds on the success of recent generative diffusion models. Our method consists of 1) a stochastic human-to-3d-motion diffusion model, and 2) a novel diffusion-based architecture that augments text-to-image models with both spatial and temporal controls. This supports the generation of high quality video of variable length, easily controllable through high-level representations of human faces and bodies. In contrast to previous work, our method does not require training for each person, does not rely on face detection and cropping, generates the complete image (not just the face or the lips), and considers a broad spectrum of scenarios (e.g. visible torso or diverse subject identities) that are critical to correctly synthesize humans who communicate. We also curate MENTOR, a new and diverse dataset with 3d pose and expression annotations, one order of magnitude larger than previous ones (800,000 identities) and with dynamic gestures, on which we train and ablate our main technical contributions. VLOGGER outperforms state-of-the-art methods in three public benchmarks, considering image quality, identity preservation and temporal consistency while also generating upper-body gestures. We analyze the performance of VLOGGER with respect to multiple diversity metrics, showing that our architectural choices and the use of MENTOR benefit training a fair and unbiased model at scale. Finally we show applications in video editing and personalization.