MaskedMimic: Vereinheitlichte physikbasierte Charaktersteuerung durch maskierte Bewegungsinpainting

MaskedMimic: Unified Physics-Based Character Control Through Masked Motion Inpainting

September 22, 2024

Autoren: Chen Tessler, Yunrong Guo, Ofir Nabati, Gal Chechik, Xue Bin Peng

cs.AI

Zusammenfassung

Die Entwicklung eines einzigen, vielseitigen physikbasierten Controllers, der interaktiven Charakteren in einer Vielzahl von Szenarien Leben einhaucht, stellt eine aufregende Grenze in der Charakteranimation dar. Ein idealer Controller sollte verschiedene Steuerungsmodalitäten unterstützen, wie z. B. spärliche Ziel-Keyframes, Textanweisungen und Szeneninformationen. Während in früheren Arbeiten physikalisch simulierte, szenenbewusste Steuerungsmodelle vorgeschlagen wurden, haben sich diese Systeme hauptsächlich darauf konzentriert, Controller zu entwickeln, die sich jeweils auf einen engen Satz von Aufgaben und Steuerungsmodalitäten spezialisieren. Diese Arbeit stellt MaskedMimic vor, einen neuartigen Ansatz, der die physikbasierte Charaktersteuerung als allgemeines Bewegungsinpainting-Problem formuliert. Unser Schlüsselerkenntnis besteht darin, ein einziges vereinigtes Modell zu trainieren, um Bewegungen aus teilweisen (maskierten) Bewegungsbeschreibungen zu synthetisieren, wie maskierte Keyframes, Objekte, Textbeschreibungen oder einer beliebigen Kombination davon. Dies wird durch die Nutzung von Bewegungsverfolgungsdaten und die Gestaltung einer skalierbaren Trainingsmethode erreicht, die vielfältige Bewegungsbeschreibungen effektiv nutzen kann, um kohärente Animationen zu erzeugen. Durch diesen Prozess lernt unser Ansatz einen physikbasierten Controller, der eine intuitive Steuerschnittstelle bietet, ohne mühsame Belohnungstechnik für alle interessanten Verhaltensweisen zu erfordern. Der resultierende Controller unterstützt eine Vielzahl von Steuerungsmodalitäten und ermöglicht nahtlose Übergänge zwischen unterschiedlichen Aufgaben. Indem MaskedMimic die Charaktersteuerung durch Bewegungsinpainting vereinheitlicht, schafft es vielseitige virtuelle Charaktere. Diese Charaktere können sich dynamisch an komplexe Szenen anpassen und auf Abruf verschiedene Bewegungen komponieren, was interaktivere und immersivere Erlebnisse ermöglicht.

English

Crafting a single, versatile physics-based controller that can breathe life into interactive characters across a wide spectrum of scenarios represents an exciting frontier in character animation. An ideal controller should support diverse control modalities, such as sparse target keyframes, text instructions, and scene information. While previous works have proposed physically simulated, scene-aware control models, these systems have predominantly focused on developing controllers that each specializes in a narrow set of tasks and control modalities. This work presents MaskedMimic, a novel approach that formulates physics-based character control as a general motion inpainting problem. Our key insight is to train a single unified model to synthesize motions from partial (masked) motion descriptions, such as masked keyframes, objects, text descriptions, or any combination thereof. This is achieved by leveraging motion tracking data and designing a scalable training method that can effectively utilize diverse motion descriptions to produce coherent animations. Through this process, our approach learns a physics-based controller that provides an intuitive control interface without requiring tedious reward engineering for all behaviors of interest. The resulting controller supports a wide range of control modalities and enables seamless transitions between disparate tasks. By unifying character control through motion inpainting, MaskedMimic creates versatile virtual characters. These characters can dynamically adapt to complex scenes and compose diverse motions on demand, enabling more interactive and immersive experiences.