InsActor: Personaggi basati sulla fisica guidati da istruzioni

InsActor: Instruction-driven Physics-based Characters

December 28, 2023

Autori: Jiawei Ren, Mingyuan Zhang, Cunjun Yu, Xiao Ma, Liang Pan, Ziwei Liu

cs.AI

Abstract

La generazione di animazioni per personaggi basati sulla fisica con un controllo intuitivo è da tempo un obiettivo desiderabile con numerose applicazioni. Tuttavia, generare animazioni simulate fisicamente che riflettano istruzioni umane di alto livello rimane un problema complesso a causa della complessità degli ambienti fisici e della ricchezza del linguaggio umano. In questo articolo, presentiamo InsActor, un framework generativo basato su principi che sfrutta i recenti progressi nei modelli di movimento umano basati sulla diffusione per produrre animazioni guidate da istruzioni per personaggi basati sulla fisica. Il nostro framework consente a InsActor di catturare relazioni complesse tra istruzioni umane di alto livello e movimenti dei personaggi, impiegando politiche di diffusione per una pianificazione del movimento flessibilmente condizionata. Per superare stati non validi e transizioni di stato non fattibili nei movimenti pianificati, InsActor scopre abilità di basso livello e mappa i piani in sequenze di abilità latenti in uno spazio latente compatto. Esperimenti estesi dimostrano che InsActor raggiunge risultati all'avanguardia in vari compiti, tra cui la generazione di movimenti guidati da istruzioni e il raggiungimento di waypoint guidati da istruzioni. In particolare, la capacità di InsActor di generare animazioni simulate fisicamente utilizzando istruzioni umane di alto livello lo rende uno strumento prezioso, specialmente nell'esecuzione di compiti a lungo termine con un ricco insieme di istruzioni.

English

Generating animation of physics-based characters with intuitive control has long been a desirable task with numerous applications. However, generating physically simulated animations that reflect high-level human instructions remains a difficult problem due to the complexity of physical environments and the richness of human language. In this paper, we present InsActor, a principled generative framework that leverages recent advancements in diffusion-based human motion models to produce instruction-driven animations of physics-based characters. Our framework empowers InsActor to capture complex relationships between high-level human instructions and character motions by employing diffusion policies for flexibly conditioned motion planning. To overcome invalid states and infeasible state transitions in planned motions, InsActor discovers low-level skills and maps plans to latent skill sequences in a compact latent space. Extensive experiments demonstrate that InsActor achieves state-of-the-art results on various tasks, including instruction-driven motion generation and instruction-driven waypoint heading. Notably, the ability of InsActor to generate physically simulated animations using high-level human instructions makes it a valuable tool, particularly in executing long-horizon tasks with a rich set of instructions.