MaskedMimic: マスクされた動き補完を通じた統一された物理ベースのキャラクターコントロール

MaskedMimic: Unified Physics-Based Character Control Through Masked Motion Inpainting

September 22, 2024

著者: Chen Tessler, Yunrong Guo, Ofir Nabati, Gal Chechik, Xue Bin Peng

cs.AI

要旨

幅広いシナリオでインタラクティブなキャラクターに命を吹き込むことができる単一で多目的な物理ベースのコントローラを作成することは、キャラクターアニメーションの刺激的なフロンティアを表しています。理想的なコントローラは、疎なターゲットキーフレーム、テキスト指示、シーン情報など、多様な制御モダリティをサポートすべきです。従来の研究では、物理シミュレーションされた、シーンを認識する制御モデルが提案されてきましたが、これらのシステムは主に、特定の一連のタスクと制御モダリティに特化したコントローラの開発に焦点を当ててきました。本研究では、MaskedMimicという新しいアプローチを提案し、物理ベースのキャラクターコントロールを一般的なモーションインペインティング問題として定式化します。私たちの主要な洞察は、マスクされたキーフレーム、オブジェクト、テキストの説明など、部分的な（マスクされた）モーション記述からモーションを合成するために単一の統合モデルをトレーニングすることです。これは、モーショントラッキングデータを活用し、多様なモーション記述を効果的に利用して整合性のあるアニメーションを生成するためのスケーラブルなトレーニング方法を設計することによって達成されます。このプロセスを通じて、私たちのアプローチは、興味の対象とするすべての行動に対して煩わしい報酬エンジニアリングを必要とせずに直感的な制御インターフェースを提供する物理ベースのコントローラを学習します。その結果得られるコントローラは、幅広い制御モダリティをサポートし、異なるタスク間でシームレスな遷移を可能にします。モーションインペインティングを通じてキャラクターコントロールを統一することで、MaskedMimicは多目的な仮想キャラクターを作成します。これらのキャラクターは、複雑なシーンに動的に適応し、要求に応じて多様なモーションを構成することができ、よりインタラクティブで没入感のある体験を可能にします。

English

Crafting a single, versatile physics-based controller that can breathe life into interactive characters across a wide spectrum of scenarios represents an exciting frontier in character animation. An ideal controller should support diverse control modalities, such as sparse target keyframes, text instructions, and scene information. While previous works have proposed physically simulated, scene-aware control models, these systems have predominantly focused on developing controllers that each specializes in a narrow set of tasks and control modalities. This work presents MaskedMimic, a novel approach that formulates physics-based character control as a general motion inpainting problem. Our key insight is to train a single unified model to synthesize motions from partial (masked) motion descriptions, such as masked keyframes, objects, text descriptions, or any combination thereof. This is achieved by leveraging motion tracking data and designing a scalable training method that can effectively utilize diverse motion descriptions to produce coherent animations. Through this process, our approach learns a physics-based controller that provides an intuitive control interface without requiring tedious reward engineering for all behaviors of interest. The resulting controller supports a wide range of control modalities and enables seamless transitions between disparate tasks. By unifying character control through motion inpainting, MaskedMimic creates versatile virtual characters. These characters can dynamically adapt to complex scenes and compose diverse motions on demand, enabling more interactive and immersive experiences.