MaskedMimic: Controllo unificato dei personaggi basato sulla fisica attraverso l'inpainting del movimento mascherato

MaskedMimic: Unified Physics-Based Character Control Through Masked Motion Inpainting

September 22, 2024

Autori: Chen Tessler, Yunrong Guo, Ofir Nabati, Gal Chechik, Xue Bin Peng

cs.AI

Abstract

Creare un singolo e versatile controller basato sulla fisica che possa infondere vita a personaggi interattivi in una vasta gamma di scenari rappresenta una frontiera eccitante nell'animazione dei personaggi. Un controller ideale dovrebbe supportare diverse modalità di controllo, come pochi keyframe di destinazione, istruzioni testuali e informazioni sulla scena. Mentre lavori precedenti hanno proposto modelli di controllo simulati fisicamente e consapevoli della scena, questi sistemi si sono principalmente concentrati nello sviluppare controller specializzati in un insieme ristretto di compiti e modalità di controllo. Questo lavoro presenta MaskedMimic, un nuovo approccio che formula il controllo dei personaggi basato sulla fisica come un problema generale di inpainting del movimento. La nostra intuizione chiave è addestrare un singolo modello unificato per sintetizzare movimenti da descrizioni parziali (mascherate) del movimento, come keyframe mascherati, oggetti, descrizioni testuali o qualsiasi loro combinazione. Ciò è ottenuto sfruttando i dati di tracciamento del movimento e progettando un metodo di addestramento scalabile che possa utilizzare in modo efficace diverse descrizioni del movimento per produrre animazioni coerenti. Attraverso questo processo, il nostro approccio apprende un controller basato sulla fisica che fornisce un'interfaccia di controllo intuitiva senza richiedere un noioso ingegnerizzazione del reward per tutti i comportamenti di interesse. Il controller risultante supporta una vasta gamma di modalità di controllo e consente transizioni senza soluzione di continuità tra compiti disparati. Unificando il controllo dei personaggi attraverso l'inpainting del movimento, MaskedMimic crea personaggi virtuali versatili. Questi personaggi possono adattarsi dinamicamente a scene complesse e comporre movimenti diversi su richiesta, consentendo esperienze più interattive e coinvolgenti.

English

Crafting a single, versatile physics-based controller that can breathe life into interactive characters across a wide spectrum of scenarios represents an exciting frontier in character animation. An ideal controller should support diverse control modalities, such as sparse target keyframes, text instructions, and scene information. While previous works have proposed physically simulated, scene-aware control models, these systems have predominantly focused on developing controllers that each specializes in a narrow set of tasks and control modalities. This work presents MaskedMimic, a novel approach that formulates physics-based character control as a general motion inpainting problem. Our key insight is to train a single unified model to synthesize motions from partial (masked) motion descriptions, such as masked keyframes, objects, text descriptions, or any combination thereof. This is achieved by leveraging motion tracking data and designing a scalable training method that can effectively utilize diverse motion descriptions to produce coherent animations. Through this process, our approach learns a physics-based controller that provides an intuitive control interface without requiring tedious reward engineering for all behaviors of interest. The resulting controller supports a wide range of control modalities and enables seamless transitions between disparate tasks. By unifying character control through motion inpainting, MaskedMimic creates versatile virtual characters. These characters can dynamically adapt to complex scenes and compose diverse motions on demand, enabling more interactive and immersive experiences.