InsActor: Personajes basados en física impulsados por instrucciones
InsActor: Instruction-driven Physics-based Characters
December 28, 2023
Autores: Jiawei Ren, Mingyuan Zhang, Cunjun Yu, Xiao Ma, Liang Pan, Ziwei Liu
cs.AI
Resumen
La generación de animaciones de personajes basados en física con control intuitivo ha sido durante mucho tiempo una tarea deseable con numerosas aplicaciones. Sin embargo, generar animaciones simuladas físicamente que reflejen instrucciones humanas de alto nivel sigue siendo un problema difícil debido a la complejidad de los entornos físicos y la riqueza del lenguaje humano. En este artículo, presentamos InsActor, un marco generativo fundamentado que aprovecha los avances recientes en modelos de movimiento humano basados en difusión para producir animaciones impulsadas por instrucciones de personajes basados en física. Nuestro marco permite a InsActor capturar relaciones complejas entre instrucciones humanas de alto nivel y movimientos de personajes mediante el uso de políticas de difusión para la planificación de movimientos condicionada de manera flexible. Para superar estados inválidos y transiciones de estado inviables en los movimientos planificados, InsActor descubre habilidades de bajo nivel y mapea planes a secuencias de habilidades latentes en un espacio latente compacto. Experimentos extensos demuestran que InsActor logra resultados de vanguardia en diversas tareas, incluyendo la generación de movimientos impulsados por instrucciones y la navegación hacia puntos de referencia guiada por instrucciones. Notablemente, la capacidad de InsActor para generar animaciones simuladas físicamente utilizando instrucciones humanas de alto nivel lo convierte en una herramienta valiosa, particularmente en la ejecución de tareas de largo plazo con un conjunto rico de instrucciones.
English
Generating animation of physics-based characters with intuitive control has
long been a desirable task with numerous applications. However, generating
physically simulated animations that reflect high-level human instructions
remains a difficult problem due to the complexity of physical environments and
the richness of human language. In this paper, we present InsActor, a
principled generative framework that leverages recent advancements in
diffusion-based human motion models to produce instruction-driven animations of
physics-based characters. Our framework empowers InsActor to capture complex
relationships between high-level human instructions and character motions by
employing diffusion policies for flexibly conditioned motion planning. To
overcome invalid states and infeasible state transitions in planned motions,
InsActor discovers low-level skills and maps plans to latent skill sequences in
a compact latent space. Extensive experiments demonstrate that InsActor
achieves state-of-the-art results on various tasks, including
instruction-driven motion generation and instruction-driven waypoint heading.
Notably, the ability of InsActor to generate physically simulated animations
using high-level human instructions makes it a valuable tool, particularly in
executing long-horizon tasks with a rich set of instructions.