InsActor: Физически реалистичные персонажи, управляемые инструкциями

InsActor: Instruction-driven Physics-based Characters

December 28, 2023

Авторы: Jiawei Ren, Mingyuan Zhang, Cunjun Yu, Xiao Ma, Liang Pan, Ziwei Liu

cs.AI

Аннотация

Создание анимации физически основанных персонажей с интуитивным управлением долгое время оставалось желаемой задачей с множеством приложений. Однако генерация физически симулированных анимаций, отражающих высокоуровневые инструкции человека, остается сложной проблемой из-за сложности физических сред и богатства человеческого языка. В данной статье мы представляем InsActor, принципиальную генеративную структуру, которая использует последние достижения в диффузионных моделях движения человека для создания анимаций физически основанных персонажей, управляемых инструкциями. Наша структура позволяет InsActor улавливать сложные взаимосвязи между высокоуровневыми инструкциями человека и движениями персонажей, применяя диффузионные политики для гибкого планирования движений с учетом условий. Чтобы преодолеть недопустимые состояния и невозможные переходы между состояниями в запланированных движениях, InsActor обнаруживает низкоуровневые навыки и отображает планы в последовательности скрытых навыков в компактном скрытом пространстве. Многочисленные эксперименты демонстрируют, что InsActor достигает передовых результатов в различных задачах, включая генерацию движений, управляемых инструкциями, и движение к целевым точкам, управляемое инструкциями. Особенно важно, что способность InsActor генерировать физически симулированные анимации с использованием высокоуровневых инструкций человека делает его ценным инструментом, особенно для выполнения долгосрочных задач с богатым набором инструкций.

English

Generating animation of physics-based characters with intuitive control has long been a desirable task with numerous applications. However, generating physically simulated animations that reflect high-level human instructions remains a difficult problem due to the complexity of physical environments and the richness of human language. In this paper, we present InsActor, a principled generative framework that leverages recent advancements in diffusion-based human motion models to produce instruction-driven animations of physics-based characters. Our framework empowers InsActor to capture complex relationships between high-level human instructions and character motions by employing diffusion policies for flexibly conditioned motion planning. To overcome invalid states and infeasible state transitions in planned motions, InsActor discovers low-level skills and maps plans to latent skill sequences in a compact latent space. Extensive experiments demonstrate that InsActor achieves state-of-the-art results on various tasks, including instruction-driven motion generation and instruction-driven waypoint heading. Notably, the ability of InsActor to generate physically simulated animations using high-level human instructions makes it a valuable tool, particularly in executing long-horizon tasks with a rich set of instructions.