MaskedMimic: Verenigde op fysica gebaseerde karakterbesturing door gemaskeerde bewegingsinpainting

MaskedMimic: Unified Physics-Based Character Control Through Masked Motion Inpainting

September 22, 2024

Auteurs: Chen Tessler, Yunrong Guo, Ofir Nabati, Gal Chechik, Xue Bin Peng

cs.AI

Samenvatting

Het ontwikkelen van een enkele, veelzijdige op natuurkunde gebaseerde controller die interactieve personages tot leven kan brengen in een breed scala van scenario's, vertegenwoordigt een spannende grens in karakteranimatie. Een ideale controller zou diverse besturingsmodaliteiten moeten ondersteunen, zoals spaarzame doelkeyframes, tekstinstructies en scène-informatie. Terwijl eerdere werken fysiek gesimuleerde, scène-bewuste besturingsmodellen hebben voorgesteld, hebben deze systemen zich voornamelijk gericht op het ontwikkelen van controllers die elk gespecialiseerd zijn in een beperkte reeks taken en besturingsmodaliteiten. Dit werk presenteert MaskedMimic, een nieuwe benadering die het besturen van personages op natuurkundige basis formuleert als een algemeen bewegingsinpaintingprobleem. Ons belangrijkste inzicht is om een enkelvoudig verenigd model te trainen om bewegingen te synthetiseren uit gedeeltelijke (gemaskeerde) bewegingsbeschrijvingen, zoals gemaskeerde keyframes, objecten, tekstbeschrijvingen of een combinatie daarvan. Dit wordt bereikt door gebruik te maken van bewegingstraceringgegevens en het ontwerpen van een schaalbare trainingsmethode die effectief diverse bewegingsbeschrijvingen kan gebruiken om coherente animaties te produceren. Via dit proces leert onze benadering een op natuurkunde gebaseerde controller die een intuïtieve besturingsinterface biedt zonder dat er tijdrovende beloningsengineering nodig is voor alle gewenste gedragingen. De resulterende controller ondersteunt een breed scala aan besturingsmodaliteiten en maakt naadloze overgangen tussen uiteenlopende taken mogelijk. Door karakterbesturing te verenigen via bewegingsinpainting, creëert MaskedMimic veelzijdige virtuele personages. Deze personages kunnen dynamisch aanpassen aan complexe scènes en diverse bewegingen op verzoek componeren, waardoor meer interactieve en meeslepende ervaringen mogelijk worden.

English

Crafting a single, versatile physics-based controller that can breathe life into interactive characters across a wide spectrum of scenarios represents an exciting frontier in character animation. An ideal controller should support diverse control modalities, such as sparse target keyframes, text instructions, and scene information. While previous works have proposed physically simulated, scene-aware control models, these systems have predominantly focused on developing controllers that each specializes in a narrow set of tasks and control modalities. This work presents MaskedMimic, a novel approach that formulates physics-based character control as a general motion inpainting problem. Our key insight is to train a single unified model to synthesize motions from partial (masked) motion descriptions, such as masked keyframes, objects, text descriptions, or any combination thereof. This is achieved by leveraging motion tracking data and designing a scalable training method that can effectively utilize diverse motion descriptions to produce coherent animations. Through this process, our approach learns a physics-based controller that provides an intuitive control interface without requiring tedious reward engineering for all behaviors of interest. The resulting controller supports a wide range of control modalities and enables seamless transitions between disparate tasks. By unifying character control through motion inpainting, MaskedMimic creates versatile virtual characters. These characters can dynamically adapt to complex scenes and compose diverse motions on demand, enabling more interactive and immersive experiences.