Make-An-Animation: Масштабируемая генерация 3D-движений человека на основе текстовых условий

Make-An-Animation: Large-Scale Text-conditional 3D Human Motion Generation

May 16, 2023

Авторы: Samaneh Azadi, Akbar Shah, Thomas Hayes, Devi Parikh, Sonal Gupta

cs.AI

Аннотация

Генерация движений человека на основе текстовых описаний вызывает значительный интерес благодаря своим перспективным применениям в анимации и робототехнике. В последнее время использование диффузионных моделей для генерации движений позволило улучшить качество создаваемых анимаций. Однако существующие подходы ограничены зависимостью от относительно небольших наборов данных motion capture, что приводит к низкой производительности на более разнообразных и сложных запросах. В данной статье мы представляем Make-An-Animation — модель генерации движений человека, обусловленную текстом, которая обучается на более разнообразных позах и запросах из крупномасштабных наборов данных изображений и текстов, что позволяет значительно улучшить производительность по сравнению с предыдущими работами. Make-An-Animation обучается в два этапа. Сначала модель обучается на тщательно отобранном крупномасштабном наборе данных пар (текст, статическая псевдопоза), извлеченных из наборов данных изображений и текстов. Затем модель дообучается на данных motion capture, добавляя дополнительные слои для моделирования временного измерения. В отличие от предыдущих диффузионных моделей для генерации движений, Make-An-Animation использует архитектуру U-Net, схожую с недавними моделями генерации видео на основе текста. Оценка реалистичности движений и их соответствия входному тексту показывает, что наша модель достигает наилучших результатов в задаче генерации движений на основе текста.

English

Text-guided human motion generation has drawn significant interest because of its impactful applications spanning animation and robotics. Recently, application of diffusion models for motion generation has enabled improvements in the quality of generated motions. However, existing approaches are limited by their reliance on relatively small-scale motion capture data, leading to poor performance on more diverse, in-the-wild prompts. In this paper, we introduce Make-An-Animation, a text-conditioned human motion generation model which learns more diverse poses and prompts from large-scale image-text datasets, enabling significant improvement in performance over prior works. Make-An-Animation is trained in two stages. First, we train on a curated large-scale dataset of (text, static pseudo-pose) pairs extracted from image-text datasets. Second, we fine-tune on motion capture data, adding additional layers to model the temporal dimension. Unlike prior diffusion models for motion generation, Make-An-Animation uses a U-Net architecture similar to recent text-to-video generation models. Human evaluation of motion realism and alignment with input text shows that our model reaches state-of-the-art performance on text-to-motion generation.