Make-An-Animation: Geração de Movimento Humano 3D em Grande Escala Condicionado por Texto

Make-An-Animation: Large-Scale Text-conditional 3D Human Motion Generation

May 16, 2023

Autores: Samaneh Azadi, Akbar Shah, Thomas Hayes, Devi Parikh, Sonal Gupta

cs.AI

Resumo

A geração de movimentos humanos guiada por texto tem atraído um interesse significativo devido às suas aplicações impactantes que abrangem animação e robótica. Recentemente, a aplicação de modelos de difusão para geração de movimentos permitiu melhorias na qualidade dos movimentos gerados. No entanto, as abordagens existentes são limitadas por sua dependência de dados de captura de movimento relativamente pequenos, resultando em desempenho insatisfatório em prompts mais diversos e do mundo real. Neste artigo, apresentamos o Make-An-Animation, um modelo de geração de movimentos humanos condicionado por texto que aprende poses e prompts mais diversos a partir de grandes conjuntos de dados de imagem-texto, permitindo uma melhoria significativa no desempenho em relação aos trabalhos anteriores. O Make-An-Animation é treinado em duas etapas. Primeiro, treinamos em um grande conjunto de dados curado de pares (texto, pseudo-pose estática) extraídos de conjuntos de dados de imagem-texto. Em seguida, ajustamos finamente os dados de captura de movimento, adicionando camadas adicionais para modelar a dimensão temporal. Diferente dos modelos de difusão anteriores para geração de movimento, o Make-An-Animation utiliza uma arquitetura U-Net semelhante aos modelos recentes de geração de texto para vídeo. A avaliação humana do realismo do movimento e do alinhamento com o texto de entrada mostra que nosso modelo alcança um desempenho de ponta na geração de texto para movimento.

English

Text-guided human motion generation has drawn significant interest because of its impactful applications spanning animation and robotics. Recently, application of diffusion models for motion generation has enabled improvements in the quality of generated motions. However, existing approaches are limited by their reliance on relatively small-scale motion capture data, leading to poor performance on more diverse, in-the-wild prompts. In this paper, we introduce Make-An-Animation, a text-conditioned human motion generation model which learns more diverse poses and prompts from large-scale image-text datasets, enabling significant improvement in performance over prior works. Make-An-Animation is trained in two stages. First, we train on a curated large-scale dataset of (text, static pseudo-pose) pairs extracted from image-text datasets. Second, we fine-tune on motion capture data, adding additional layers to model the temporal dimension. Unlike prior diffusion models for motion generation, Make-An-Animation uses a U-Net architecture similar to recent text-to-video generation models. Human evaluation of motion realism and alignment with input text shows that our model reaches state-of-the-art performance on text-to-motion generation.