Make-An-Animation: Großskalige textkonditionierte 3D-Human-Motion-Generierung

Make-An-Animation: Large-Scale Text-conditional 3D Human Motion Generation

May 16, 2023

Autoren: Samaneh Azadi, Akbar Shah, Thomas Hayes, Devi Parikh, Sonal Gupta

cs.AI

Zusammenfassung

Textgesteuerte menschliche Bewegungsgenerierung hat aufgrund ihrer weitreichenden Anwendungen in den Bereichen Animation und Robotik großes Interesse geweckt. Kürzlich hat die Anwendung von Diffusionsmodellen für die Bewegungsgenerierung Verbesserungen in der Qualität der erzeugten Bewegungen ermöglicht. Bestehende Ansätze sind jedoch durch ihre Abhängigkeit von relativ kleinen Bewegungsaufnahmedaten begrenzt, was zu schlechter Leistung bei vielfältigeren, realitätsnahen Eingabeaufforderungen führt. In diesem Artikel stellen wir Make-An-Animation vor, ein textbedingtes Modell zur Generierung menschlicher Bewegungen, das vielfältigere Posen und Eingabeaufforderungen aus groß angelegten Bild-Text-Datensätzen lernt und dadurch eine signifikante Verbesserung der Leistung gegenüber früheren Arbeiten ermöglicht. Make-An-Animation wird in zwei Stufen trainiert. Zunächst trainieren wir auf einem kuratierten, groß angelegten Datensatz von (Text, statische Pseudo-Pose)-Paaren, die aus Bild-Text-Datensätzen extrahiert wurden. Anschließend feintunen wir auf Bewegungsaufnahmedaten und fügen zusätzliche Schichten hinzu, um die zeitliche Dimension zu modellieren. Im Gegensatz zu früheren Diffusionsmodellen für die Bewegungsgenerierung verwendet Make-An-Animation eine U-Net-Architektur, die ähnlich zu aktuellen Text-zu-Video-Generierungsmodellen ist. Menschliche Bewertungen der Bewegungsrealität und der Übereinstimmung mit dem Eingabetext zeigen, dass unser Modell Spitzenleistungen in der Text-zu-Bewegungs-Generierung erreicht.

English

Text-guided human motion generation has drawn significant interest because of its impactful applications spanning animation and robotics. Recently, application of diffusion models for motion generation has enabled improvements in the quality of generated motions. However, existing approaches are limited by their reliance on relatively small-scale motion capture data, leading to poor performance on more diverse, in-the-wild prompts. In this paper, we introduce Make-An-Animation, a text-conditioned human motion generation model which learns more diverse poses and prompts from large-scale image-text datasets, enabling significant improvement in performance over prior works. Make-An-Animation is trained in two stages. First, we train on a curated large-scale dataset of (text, static pseudo-pose) pairs extracted from image-text datasets. Second, we fine-tune on motion capture data, adding additional layers to model the temporal dimension. Unlike prior diffusion models for motion generation, Make-An-Animation uses a U-Net architecture similar to recent text-to-video generation models. Human evaluation of motion realism and alignment with input text shows that our model reaches state-of-the-art performance on text-to-motion generation.