InsActor : Personnages physiques pilotés par instructions

InsActor: Instruction-driven Physics-based Characters

December 28, 2023

papers.authors: Jiawei Ren, Mingyuan Zhang, Cunjun Yu, Xiao Ma, Liang Pan, Ziwei Liu

cs.AI

papers.abstract

La génération d'animations pour des personnages basés sur la physique avec un contrôle intuitif est depuis longtemps une tâche souhaitable, offrant de nombreuses applications. Cependant, produire des animations simulées physiquement qui reflètent des instructions humaines de haut niveau reste un problème complexe en raison de la richesse des environnements physiques et de la diversité du langage humain. Dans cet article, nous présentons InsActor, un cadre génératif structuré qui exploite les avancées récentes des modèles de mouvement humain basés sur la diffusion pour produire des animations pilotées par des instructions pour des personnages basés sur la physique. Notre cadre permet à InsActor de capturer les relations complexes entre les instructions humaines de haut niveau et les mouvements des personnages en utilisant des politiques de diffusion pour une planification de mouvement conditionnée de manière flexible. Pour surmonter les états invalides et les transitions d'état impossibles dans les mouvements planifiés, InsActor découvre des compétences de bas niveau et mappe les plans à des séquences de compétences latentes dans un espace latent compact. Des expériences approfondies démontrent qu'InsActor obtient des résultats de pointe sur diverses tâches, notamment la génération de mouvement pilotée par des instructions et le guidage vers des points de passage piloté par des instructions. En particulier, la capacité d'InsActor à générer des animations simulées physiquement à l'aide d'instructions humaines de haut niveau en fait un outil précieux, notamment pour exécuter des tâches à long horizon avec un ensemble riche d'instructions.

English

Generating animation of physics-based characters with intuitive control has long been a desirable task with numerous applications. However, generating physically simulated animations that reflect high-level human instructions remains a difficult problem due to the complexity of physical environments and the richness of human language. In this paper, we present InsActor, a principled generative framework that leverages recent advancements in diffusion-based human motion models to produce instruction-driven animations of physics-based characters. Our framework empowers InsActor to capture complex relationships between high-level human instructions and character motions by employing diffusion policies for flexibly conditioned motion planning. To overcome invalid states and infeasible state transitions in planned motions, InsActor discovers low-level skills and maps plans to latent skill sequences in a compact latent space. Extensive experiments demonstrate that InsActor achieves state-of-the-art results on various tasks, including instruction-driven motion generation and instruction-driven waypoint heading. Notably, the ability of InsActor to generate physically simulated animations using high-level human instructions makes it a valuable tool, particularly in executing long-horizon tasks with a rich set of instructions.