VLOGGER: Multimodale diffusie voor de synthese van belichaamde avatars
VLOGGER: Multimodal Diffusion for Embodied Avatar Synthesis
March 13, 2024
Auteurs: Enric Corona, Andrei Zanfir, Eduard Gabriel Bazavan, Nikos Kolotouros, Thiemo Alldieck, Cristian Sminchisescu
cs.AI
Samenvatting
Wij stellen VLOGGER voor, een methode voor audio-gestuurde menselijke videogeneratie vanuit een enkele invoerafbeelding van een persoon, die voortbouwt op het succes van recente generatieve diffusiemodellen. Onze methode bestaat uit 1) een stochastisch mens-naar-3d-bewegingsdiffusiemodel, en 2) een nieuwe diffusiegebaseerde architectuur die tekst-naar-beeldmodellen uitbreidt met zowel ruimtelijke als temporele controles. Dit ondersteunt de generatie van hoogwaardige video's van variabele lengte, eenvoudig aan te sturen via hoogwaardige representaties van menselijke gezichten en lichamen. In tegenstelling tot eerder werk vereist onze methode geen training per persoon, is niet afhankelijk van gezichtsdetectie en -uitsnijding, genereert het volledige beeld (niet alleen het gezicht of de lippen), en houdt rekening met een breed scala aan scenario's (bijv. zichtbare torso of diverse subjectidentiteiten) die cruciaal zijn om communicerende mensen correct te synthetiseren. Wij hebben ook MENTOR samengesteld, een nieuwe en diverse dataset met 3d-pose- en expressieannotaties, een orde van grootte groter dan voorgaande (800.000 identiteiten) en met dynamische gebaren, waarop we onze belangrijkste technische bijdragen trainen en evalueren. VLOGGER overtreft state-of-the-art methoden in drie publieke benchmarks, waarbij rekening wordt gehouden met beeldkwaliteit, identiteitsbehoud en temporele consistentie, terwijl ook bovenlichaamgebaren worden gegenereerd. We analyseren de prestaties van VLOGGER met betrekking tot meerdere diversiteitsmetingen, waaruit blijkt dat onze architecturale keuzes en het gebruik van MENTOR bijdragen aan het trainen van een eerlijk en onbevooroordeeld model op grote schaal. Tot slot tonen we toepassingen in videobewerking en personalisatie.
English
We propose VLOGGER, a method for audio-driven human video generation from a
single input image of a person, which builds on the success of recent
generative diffusion models. Our method consists of 1) a stochastic
human-to-3d-motion diffusion model, and 2) a novel diffusion-based architecture
that augments text-to-image models with both spatial and temporal controls.
This supports the generation of high quality video of variable length, easily
controllable through high-level representations of human faces and bodies. In
contrast to previous work, our method does not require training for each
person, does not rely on face detection and cropping, generates the complete
image (not just the face or the lips), and considers a broad spectrum of
scenarios (e.g. visible torso or diverse subject identities) that are critical
to correctly synthesize humans who communicate. We also curate MENTOR, a new
and diverse dataset with 3d pose and expression annotations, one order of
magnitude larger than previous ones (800,000 identities) and with dynamic
gestures, on which we train and ablate our main technical contributions.
VLOGGER outperforms state-of-the-art methods in three public benchmarks,
considering image quality, identity preservation and temporal consistency while
also generating upper-body gestures. We analyze the performance of VLOGGER with
respect to multiple diversity metrics, showing that our architectural choices
and the use of MENTOR benefit training a fair and unbiased model at scale.
Finally we show applications in video editing and personalization.