VLOGGER: Difusão Multimodal para Síntese de Avatares Corporificados
VLOGGER: Multimodal Diffusion for Embodied Avatar Synthesis
March 13, 2024
Autores: Enric Corona, Andrei Zanfir, Eduard Gabriel Bazavan, Nikos Kolotouros, Thiemo Alldieck, Cristian Sminchisescu
cs.AI
Resumo
Propomos o VLOGGER, um método para geração de vídeos humanos dirigidos por áudio a partir de uma única imagem de entrada de uma pessoa, que se baseia no sucesso dos recentes modelos generativos de difusão. Nosso método consiste em 1) um modelo estocástico de difusão de movimento humano para 3D, e 2) uma nova arquitetura baseada em difusão que amplia os modelos de texto para imagem com controles espaciais e temporais. Isso permite a geração de vídeos de alta qualidade com duração variável, facilmente controláveis por meio de representações de alto nível de rostos e corpos humanos. Em contraste com trabalhos anteriores, nosso método não requer treinamento para cada pessoa, não depende de detecção e recorte de rostos, gera a imagem completa (não apenas o rosto ou os lábios) e considera um amplo espectro de cenários (por exemplo, torso visível ou identidades diversas dos sujeitos) que são críticos para sintetizar corretamente humanos que se comunicam. Também criamos o MENTOR, um novo e diversificado conjunto de dados com anotações de poses 3D e expressões, uma ordem de grandeza maior do que os anteriores (800.000 identidades) e com gestos dinâmicos, no qual treinamos e avaliamos nossas principais contribuições técnicas. O VLOGGER supera os métodos state-of-the-art em três benchmarks públicos, considerando qualidade de imagem, preservação de identidade e consistência temporal, enquanto também gera gestos da parte superior do corpo. Analisamos o desempenho do VLOGGER em relação a múltiplas métricas de diversidade, mostrando que nossas escolhas arquitetônicas e o uso do MENTOR beneficiam o treinamento de um modelo justo e imparcial em escala. Por fim, mostramos aplicações em edição de vídeo e personalização.
English
We propose VLOGGER, a method for audio-driven human video generation from a
single input image of a person, which builds on the success of recent
generative diffusion models. Our method consists of 1) a stochastic
human-to-3d-motion diffusion model, and 2) a novel diffusion-based architecture
that augments text-to-image models with both spatial and temporal controls.
This supports the generation of high quality video of variable length, easily
controllable through high-level representations of human faces and bodies. In
contrast to previous work, our method does not require training for each
person, does not rely on face detection and cropping, generates the complete
image (not just the face or the lips), and considers a broad spectrum of
scenarios (e.g. visible torso or diverse subject identities) that are critical
to correctly synthesize humans who communicate. We also curate MENTOR, a new
and diverse dataset with 3d pose and expression annotations, one order of
magnitude larger than previous ones (800,000 identities) and with dynamic
gestures, on which we train and ablate our main technical contributions.
VLOGGER outperforms state-of-the-art methods in three public benchmarks,
considering image quality, identity preservation and temporal consistency while
also generating upper-body gestures. We analyze the performance of VLOGGER with
respect to multiple diversity metrics, showing that our architectural choices
and the use of MENTOR benefit training a fair and unbiased model at scale.
Finally we show applications in video editing and personalization.