Make-An-Animation : Génération à grande échelle de mouvements humains 3D conditionnés par texte

Make-An-Animation: Large-Scale Text-conditional 3D Human Motion Generation

May 16, 2023

Auteurs: Samaneh Azadi, Akbar Shah, Thomas Hayes, Devi Parikh, Sonal Gupta

cs.AI

Résumé

La génération de mouvements humains guidée par texte a suscité un intérêt considérable en raison de ses applications impactantes dans les domaines de l'animation et de la robotique. Récemment, l'utilisation de modèles de diffusion pour la génération de mouvements a permis d'améliorer la qualité des mouvements générés. Cependant, les approches existantes sont limitées par leur dépendance à des données de capture de mouvement relativement réduites, ce qui entraîne des performances médiocres sur des prompts plus diversifiés et réalistes. Dans cet article, nous présentons Make-An-Animation, un modèle de génération de mouvements humains conditionné par texte qui apprend des poses et des prompts plus variés à partir de vastes ensembles de données image-texte, permettant une amélioration significative des performances par rapport aux travaux précédents. Make-An-Animation est entraîné en deux étapes. Tout d'abord, nous entraînons le modèle sur un vaste ensemble de données soigneusement sélectionné de paires (texte, pseudo-pose statique) extraites de jeux de données image-texte. Ensuite, nous affinons le modèle sur des données de capture de mouvement, en ajoutant des couches supplémentaires pour modéliser la dimension temporelle. Contrairement aux modèles de diffusion précédents pour la génération de mouvements, Make-An-Animation utilise une architecture U-Net similaire aux récents modèles de génération de texte-à-vidéo. L'évaluation humaine du réalisme des mouvements et de leur alignement avec le texte d'entrée montre que notre modèle atteint des performances de pointe en matière de génération de texte-à-mouvement.

English

Text-guided human motion generation has drawn significant interest because of its impactful applications spanning animation and robotics. Recently, application of diffusion models for motion generation has enabled improvements in the quality of generated motions. However, existing approaches are limited by their reliance on relatively small-scale motion capture data, leading to poor performance on more diverse, in-the-wild prompts. In this paper, we introduce Make-An-Animation, a text-conditioned human motion generation model which learns more diverse poses and prompts from large-scale image-text datasets, enabling significant improvement in performance over prior works. Make-An-Animation is trained in two stages. First, we train on a curated large-scale dataset of (text, static pseudo-pose) pairs extracted from image-text datasets. Second, we fine-tune on motion capture data, adding additional layers to model the temporal dimension. Unlike prior diffusion models for motion generation, Make-An-Animation uses a U-Net architecture similar to recent text-to-video generation models. Human evaluation of motion realism and alignment with input text shows that our model reaches state-of-the-art performance on text-to-motion generation.