InsActor: Personagens Baseados em Física Orientados por Instruções

InsActor: Instruction-driven Physics-based Characters

December 28, 2023

Autores: Jiawei Ren, Mingyuan Zhang, Cunjun Yu, Xiao Ma, Liang Pan, Ziwei Liu

cs.AI

Resumo

A geração de animações de personagens baseados em física com controle intuitivo tem sido há muito tempo uma tarefa desejável, com inúmeras aplicações. No entanto, gerar animações fisicamente simuladas que reflitam instruções humanas de alto nível continua sendo um problema difícil devido à complexidade dos ambientes físicos e à riqueza da linguagem humana. Neste artigo, apresentamos o InsActor, uma estrutura gerativa fundamentada que aproveita os avanços recentes em modelos de movimento humano baseados em difusão para produzir animações de personagens baseados em física orientadas por instruções. Nossa estrutura capacita o InsActor a capturar relações complexas entre instruções humanas de alto nível e movimentos dos personagens, empregando políticas de difusão para planejamento de movimento condicionado de forma flexível. Para superar estados inválidos e transições de estado inviáveis em movimentos planejados, o InsActor descobre habilidades de baixo nível e mapeia planos para sequências de habilidades latentes em um espaço latente compacto. Experimentos extensivos demonstram que o InsActor alcança resultados de ponta em várias tarefas, incluindo geração de movimento orientada por instruções e direcionamento a pontos de referência orientado por instruções. Notavelmente, a capacidade do InsActor de gerar animações fisicamente simuladas usando instruções humanas de alto nível o torna uma ferramenta valiosa, particularmente na execução de tarefas de longo prazo com um conjunto rico de instruções.

English

Generating animation of physics-based characters with intuitive control has long been a desirable task with numerous applications. However, generating physically simulated animations that reflect high-level human instructions remains a difficult problem due to the complexity of physical environments and the richness of human language. In this paper, we present InsActor, a principled generative framework that leverages recent advancements in diffusion-based human motion models to produce instruction-driven animations of physics-based characters. Our framework empowers InsActor to capture complex relationships between high-level human instructions and character motions by employing diffusion policies for flexibly conditioned motion planning. To overcome invalid states and infeasible state transitions in planned motions, InsActor discovers low-level skills and maps plans to latent skill sequences in a compact latent space. Extensive experiments demonstrate that InsActor achieves state-of-the-art results on various tasks, including instruction-driven motion generation and instruction-driven waypoint heading. Notably, the ability of InsActor to generate physically simulated animations using high-level human instructions makes it a valuable tool, particularly in executing long-horizon tasks with a rich set of instructions.