Make-An-Animation: Grootschalige tekst-gestuurde 3D Menselijke Bewegingsgeneratie

Make-An-Animation: Large-Scale Text-conditional 3D Human Motion Generation

May 16, 2023

Auteurs: Samaneh Azadi, Akbar Shah, Thomas Hayes, Devi Parikh, Sonal Gupta

cs.AI

Samenvatting

Tekstgestuurde generatie van menselijke bewegingen heeft aanzienlijke belangstelling getrokken vanwege de impactvolle toepassingen die zich uitstrekken over animatie en robotica. Recentelijk heeft de toepassing van diffusiemodellen voor beweginggeneratie verbeteringen mogelijk gemaakt in de kwaliteit van gegenereerde bewegingen. Echter, bestaande benaderingen worden beperkt door hun afhankelijkheid van relatief kleinschalige motion capture-data, wat leidt tot slechte prestaties bij meer diverse, in-the-wild prompts. In dit artikel introduceren we Make-An-Animation, een tekstgeconditioneerd model voor de generatie van menselijke bewegingen dat meer diverse poses en prompts leert uit grootschalige beeld-tekst datasets, wat een aanzienlijke verbetering in prestaties mogelijk maakt ten opzichte van eerdere werken. Make-An-Animation wordt getraind in twee fasen. Eerst trainen we op een gecureerde, grootschalige dataset van (tekst, statische pseudo-pose) paren die zijn geëxtraheerd uit beeld-tekst datasets. Vervolgens finetunen we op motion capture-data, waarbij we extra lagen toevoegen om de temporele dimensie te modelleren. In tegenstelling tot eerdere diffusiemodellen voor beweginggeneratie, gebruikt Make-An-Animation een U-Net architectuur die vergelijkbaar is met recente tekst-naar-video generatiemodellen. Menselijke evaluatie van bewegingrealisme en afstemming met invoertekst toont aan dat ons model state-of-the-art prestaties bereikt op tekst-naar-beweging generatie.

English

Text-guided human motion generation has drawn significant interest because of its impactful applications spanning animation and robotics. Recently, application of diffusion models for motion generation has enabled improvements in the quality of generated motions. However, existing approaches are limited by their reliance on relatively small-scale motion capture data, leading to poor performance on more diverse, in-the-wild prompts. In this paper, we introduce Make-An-Animation, a text-conditioned human motion generation model which learns more diverse poses and prompts from large-scale image-text datasets, enabling significant improvement in performance over prior works. Make-An-Animation is trained in two stages. First, we train on a curated large-scale dataset of (text, static pseudo-pose) pairs extracted from image-text datasets. Second, we fine-tune on motion capture data, adding additional layers to model the temporal dimension. Unlike prior diffusion models for motion generation, Make-An-Animation uses a U-Net architecture similar to recent text-to-video generation models. Human evaluation of motion realism and alignment with input text shows that our model reaches state-of-the-art performance on text-to-motion generation.