Make-An-Animation: Generación de Movimiento Humano 3D a Gran Escala Condicionado por Texto

Make-An-Animation: Large-Scale Text-conditional 3D Human Motion Generation

May 16, 2023

Autores: Samaneh Azadi, Akbar Shah, Thomas Hayes, Devi Parikh, Sonal Gupta

cs.AI

Resumen

La generación de movimiento humano guiada por texto ha despertado un interés significativo debido a sus aplicaciones impactantes en áreas como la animación y la robótica. Recientemente, la aplicación de modelos de difusión para la generación de movimiento ha permitido mejoras en la calidad de los movimientos generados. Sin embargo, los enfoques existentes están limitados por su dependencia de datos de captura de movimiento relativamente pequeños, lo que resulta en un rendimiento deficiente ante indicaciones más diversas y del mundo real. En este artículo, presentamos Make-An-Animation, un modelo de generación de movimiento humano condicionado por texto que aprende poses y indicaciones más diversas a partir de grandes conjuntos de datos de imágenes y texto, permitiendo una mejora significativa en el rendimiento respecto a trabajos anteriores. Make-An-Animation se entrena en dos etapas. Primero, entrenamos con un conjunto de datos grande y curado de pares (texto, pseudo-pose estática) extraídos de conjuntos de datos de imágenes y texto. Segundo, afinamos el modelo con datos de captura de movimiento, añadiendo capas adicionales para modelar la dimensión temporal. A diferencia de los modelos de difusión anteriores para generación de movimiento, Make-An-Animation utiliza una arquitectura U-Net similar a los modelos recientes de generación de texto a video. La evaluación humana del realismo del movimiento y su alineación con el texto de entrada muestra que nuestro modelo alcanza un rendimiento de vanguardia en la generación de texto a movimiento.

English

Text-guided human motion generation has drawn significant interest because of its impactful applications spanning animation and robotics. Recently, application of diffusion models for motion generation has enabled improvements in the quality of generated motions. However, existing approaches are limited by their reliance on relatively small-scale motion capture data, leading to poor performance on more diverse, in-the-wild prompts. In this paper, we introduce Make-An-Animation, a text-conditioned human motion generation model which learns more diverse poses and prompts from large-scale image-text datasets, enabling significant improvement in performance over prior works. Make-An-Animation is trained in two stages. First, we train on a curated large-scale dataset of (text, static pseudo-pose) pairs extracted from image-text datasets. Second, we fine-tune on motion capture data, adding additional layers to model the temporal dimension. Unlike prior diffusion models for motion generation, Make-An-Animation uses a U-Net architecture similar to recent text-to-video generation models. Human evaluation of motion realism and alignment with input text shows that our model reaches state-of-the-art performance on text-to-motion generation.