InsActor: Instruktionsgesteuerte physikbasierte Charaktere

InsActor: Instruction-driven Physics-based Characters

December 28, 2023

Autoren: Jiawei Ren, Mingyuan Zhang, Cunjun Yu, Xiao Ma, Liang Pan, Ziwei Liu

cs.AI

Zusammenfassung

Die Erzeugung von Animationen physikbasierter Charaktere mit intuitiver Steuerung ist seit langem eine wünschenswerte Aufgabe mit zahlreichen Anwendungen. Die Generierung physikalisch simulierter Animationen, die hochrangige menschliche Anweisungen widerspiegeln, bleibt jedoch aufgrund der Komplexität physikalischer Umgebungen und der Vielfalt menschlicher Sprache ein schwieriges Problem. In diesem Artikel stellen wir InsActor vor, ein prinzipielles generatives Framework, das aktuelle Fortschritte in diffusionsbasierten Modellen menschlicher Bewegung nutzt, um anweisungsgesteuerte Animationen physikbasierter Charaktere zu erzeugen. Unser Framework ermöglicht es InsActor, komplexe Beziehungen zwischen hochrangigen menschlichen Anweisungen und Charakterbewegungen zu erfassen, indem es Diffusionsrichtlinien für flexibel konditionierte Bewegungsplanung einsetzt. Um ungültige Zustände und unmögliche Zustandsübergänge in geplanten Bewegungen zu überwinden, entdeckt InsActor niedrigstufige Fähigkeiten und bildet Pläne auf latente Fähigkeitssequenzen in einem kompakten latenten Raum ab. Umfangreiche Experimente zeigen, dass InsActor state-of-the-art Ergebnisse bei verschiedenen Aufgaben erzielt, einschließlich anweisungsgesteuerter Bewegungsgenerierung und anweisungsgesteuerter Wegpunktausrichtung. Insbesondere die Fähigkeit von InsActor, physikalisch simulierte Animationen mit hochrangigen menschlichen Anweisungen zu generieren, macht es zu einem wertvollen Werkzeug, insbesondere bei der Ausführung langfristiger Aufgaben mit einer Vielzahl von Anweisungen.

English

Generating animation of physics-based characters with intuitive control has long been a desirable task with numerous applications. However, generating physically simulated animations that reflect high-level human instructions remains a difficult problem due to the complexity of physical environments and the richness of human language. In this paper, we present InsActor, a principled generative framework that leverages recent advancements in diffusion-based human motion models to produce instruction-driven animations of physics-based characters. Our framework empowers InsActor to capture complex relationships between high-level human instructions and character motions by employing diffusion policies for flexibly conditioned motion planning. To overcome invalid states and infeasible state transitions in planned motions, InsActor discovers low-level skills and maps plans to latent skill sequences in a compact latent space. Extensive experiments demonstrate that InsActor achieves state-of-the-art results on various tasks, including instruction-driven motion generation and instruction-driven waypoint heading. Notably, the ability of InsActor to generate physically simulated animations using high-level human instructions makes it a valuable tool, particularly in executing long-horizon tasks with a rich set of instructions.