InsActor: Instructiegestuurde fysiek gebaseerde karakters

InsActor: Instruction-driven Physics-based Characters

December 28, 2023

Auteurs: Jiawei Ren, Mingyuan Zhang, Cunjun Yu, Xiao Ma, Liang Pan, Ziwei Liu

cs.AI

Samenvatting

Het genereren van animaties van fysica-gebaseerde karakters met intuïtieve controle is al lang een gewenste taak met talrijke toepassingen. Het genereren van fysiek gesimuleerde animaties die hoogwaardige menselijke instructies weerspiegelen, blijft echter een moeilijk probleem vanwege de complexiteit van fysieke omgevingen en de rijkdom van menselijke taal. In dit artikel presenteren we InsActor, een principieel generatief raamwerk dat gebruikmaakt van recente vooruitgang in diffusie-gebaseerde menselijke bewegingsmodellen om instructie-gestuurde animaties van fysica-gebaseerde karakters te produceren. Ons raamwerk stelt InsActor in staat om complexe relaties tussen hoogwaardige menselijke instructies en karakterbewegingen vast te leggen door diffusiebeleid te gebruiken voor flexibel geconditioneerde bewegingsplanning. Om ongeldige toestanden en onuitvoerbare toestandsovergangen in geplande bewegingen te overwinnen, ontdekt InsActor laagniveau vaardigheden en mapt het plannen naar latente vaardigheidssequenties in een compacte latente ruimte. Uitgebreide experimenten tonen aan dat InsActor state-of-the-art resultaten behaalt op verschillende taken, waaronder instructie-gestuurde bewegingsgeneratie en instructie-gestuurde waypoint-navigatie. Met name het vermogen van InsActor om fysiek gesimuleerde animaties te genereren met behulp van hoogwaardige menselijke instructies maakt het een waardevol hulpmiddel, vooral bij het uitvoeren van langetermijntaken met een rijke set aan instructies.

English

Generating animation of physics-based characters with intuitive control has long been a desirable task with numerous applications. However, generating physically simulated animations that reflect high-level human instructions remains a difficult problem due to the complexity of physical environments and the richness of human language. In this paper, we present InsActor, a principled generative framework that leverages recent advancements in diffusion-based human motion models to produce instruction-driven animations of physics-based characters. Our framework empowers InsActor to capture complex relationships between high-level human instructions and character motions by employing diffusion policies for flexibly conditioned motion planning. To overcome invalid states and infeasible state transitions in planned motions, InsActor discovers low-level skills and maps plans to latent skill sequences in a compact latent space. Extensive experiments demonstrate that InsActor achieves state-of-the-art results on various tasks, including instruction-driven motion generation and instruction-driven waypoint heading. Notably, the ability of InsActor to generate physically simulated animations using high-level human instructions makes it a valuable tool, particularly in executing long-horizon tasks with a rich set of instructions.