InsActor: 指示駆動型物理ベースキャラクター

InsActor: Instruction-driven Physics-based Characters

December 28, 2023

著者: Jiawei Ren, Mingyuan Zhang, Cunjun Yu, Xiao Ma, Liang Pan, Ziwei Liu

cs.AI

要旨

物理ベースのキャラクターアニメーションを直感的な制御で生成することは、長年にわたり多くの応用が期待される望ましい課題でした。しかし、物理環境の複雑さと人間の言語の豊かさゆえに、高次元の人間の指示を反映した物理シミュレーションアニメーションを生成することは依然として困難な問題です。本論文では、InsActorを紹介します。これは、拡散ベースの人間動作モデルの最近の進展を活用し、指示駆動型の物理ベースキャラクターアニメーションを生成するための原理に基づいた生成フレームワークです。私たちのフレームワークは、柔軟な条件付き動作計画のために拡散ポリシーを採用することで、InsActorが高次元の人間の指示とキャラクターの動作との複雑な関係を捉えることを可能にします。計画された動作における無効な状態や実行不可能な状態遷移を克服するために、InsActorは低レベルのスキルを発見し、計画をコンパクトな潜在空間内の潜在スキルシーケンスにマッピングします。広範な実験により、InsActorが指示駆動型動作生成や指示駆動型ウェイポイントヘディングなど、さまざまなタスクにおいて最先端の結果を達成することが実証されています。特に、InsActorが高次元の人間の指示を用いて物理シミュレーションアニメーションを生成する能力は、豊富な指示セットを用いた長期的タスクの実行において特に貴重なツールとなります。

English

Generating animation of physics-based characters with intuitive control has long been a desirable task with numerous applications. However, generating physically simulated animations that reflect high-level human instructions remains a difficult problem due to the complexity of physical environments and the richness of human language. In this paper, we present InsActor, a principled generative framework that leverages recent advancements in diffusion-based human motion models to produce instruction-driven animations of physics-based characters. Our framework empowers InsActor to capture complex relationships between high-level human instructions and character motions by employing diffusion policies for flexibly conditioned motion planning. To overcome invalid states and infeasible state transitions in planned motions, InsActor discovers low-level skills and maps plans to latent skill sequences in a compact latent space. Extensive experiments demonstrate that InsActor achieves state-of-the-art results on various tasks, including instruction-driven motion generation and instruction-driven waypoint heading. Notably, the ability of InsActor to generate physically simulated animations using high-level human instructions makes it a valuable tool, particularly in executing long-horizon tasks with a rich set of instructions.