VLOGGER: Difusión multimodal para la síntesis de avatares corporizados

VLOGGER: Multimodal Diffusion for Embodied Avatar Synthesis

March 13, 2024

Autores: Enric Corona, Andrei Zanfir, Eduard Gabriel Bazavan, Nikos Kolotouros, Thiemo Alldieck, Cristian Sminchisescu

cs.AI

Resumen

Proponemos VLOGGER, un método para la generación de videos humanos impulsados por audio a partir de una única imagen de entrada de una persona, que se basa en el éxito de los recientes modelos generativos de difusión. Nuestro método consta de 1) un modelo estocástico de difusión de humano-a-movimiento-3D, y 2) una arquitectura novedosa basada en difusión que amplía los modelos de texto-a-imagen con controles tanto espaciales como temporales. Esto permite la generación de videos de alta calidad de longitud variable, fácilmente controlables mediante representaciones de alto nivel de rostros y cuerpos humanos. A diferencia de trabajos anteriores, nuestro método no requiere entrenamiento para cada persona, no depende de la detección y recorte de rostros, genera la imagen completa (no solo el rostro o los labios) y considera un amplio espectro de escenarios (por ejemplo, torso visible o identidades diversas de sujetos) que son críticos para sintetizar correctamente humanos que se comunican. También creamos MENTOR, un nuevo y diverso conjunto de datos con anotaciones de poses 3D y expresiones, un orden de magnitud más grande que los anteriores (800,000 identidades) y con gestos dinámicos, en el cual entrenamos y evaluamos nuestras principales contribuciones técnicas. VLOGGER supera a los métodos más avanzados en tres benchmarks públicos, considerando la calidad de la imagen, la preservación de la identidad y la consistencia temporal, además de generar gestos de la parte superior del cuerpo. Analizamos el rendimiento de VLOGGER con respecto a múltiples métricas de diversidad, mostrando que nuestras elecciones arquitectónicas y el uso de MENTOR benefician el entrenamiento de un modelo justo y no sesgado a gran escala. Finalmente, mostramos aplicaciones en edición de video y personalización.

English

We propose VLOGGER, a method for audio-driven human video generation from a single input image of a person, which builds on the success of recent generative diffusion models. Our method consists of 1) a stochastic human-to-3d-motion diffusion model, and 2) a novel diffusion-based architecture that augments text-to-image models with both spatial and temporal controls. This supports the generation of high quality video of variable length, easily controllable through high-level representations of human faces and bodies. In contrast to previous work, our method does not require training for each person, does not rely on face detection and cropping, generates the complete image (not just the face or the lips), and considers a broad spectrum of scenarios (e.g. visible torso or diverse subject identities) that are critical to correctly synthesize humans who communicate. We also curate MENTOR, a new and diverse dataset with 3d pose and expression annotations, one order of magnitude larger than previous ones (800,000 identities) and with dynamic gestures, on which we train and ablate our main technical contributions. VLOGGER outperforms state-of-the-art methods in three public benchmarks, considering image quality, identity preservation and temporal consistency while also generating upper-body gestures. We analyze the performance of VLOGGER with respect to multiple diversity metrics, showing that our architectural choices and the use of MENTOR benefit training a fair and unbiased model at scale. Finally we show applications in video editing and personalization.