MaskedMimic: Control unificado de personajes basado en física a través de relleno de movimiento enmascarado.

MaskedMimic: Unified Physics-Based Character Control Through Masked Motion Inpainting

September 22, 2024

Autores: Chen Tessler, Yunrong Guo, Ofir Nabati, Gal Chechik, Xue Bin Peng

cs.AI

Resumen

El desarrollo de un controlador único y versátil basado en la física que pueda dar vida a personajes interactivos en una amplia gama de escenarios representa una emocionante frontera en la animación de personajes. Un controlador ideal debería admitir diversas modalidades de control, como pocos fotogramas clave de destino, instrucciones de texto e información de la escena. Si bien trabajos anteriores han propuesto modelos de control simulados físicamente y conscientes de la escena, estos sistemas se han centrado principalmente en el desarrollo de controladores que se especializan en un conjunto estrecho de tareas y modalidades de control. Este trabajo presenta MaskedMimic, un enfoque novedoso que formula el control de personajes basado en la física como un problema de rellenado de movimiento general. Nuestra idea clave es entrenar un único modelo unificado para sintetizar movimientos a partir de descripciones de movimiento parciales (enmascaradas), como fotogramas clave enmascarados, objetos, descripciones de texto o cualquier combinación de estos. Esto se logra aprovechando datos de seguimiento de movimiento y diseñando un método de entrenamiento escalable que puede utilizar de manera efectiva diversas descripciones de movimiento para producir animaciones coherentes. A través de este proceso, nuestro enfoque aprende un controlador basado en la física que proporciona una interfaz de control intuitiva sin necesidad de una ingeniería de recompensas tediosa para todos los comportamientos de interés. El controlador resultante admite una amplia gama de modalidades de control y permite transiciones fluidas entre tareas dispares. Al unificar el control de personajes a través del rellenado de movimiento, MaskedMimic crea personajes virtuales versátiles. Estos personajes pueden adaptarse dinámicamente a escenas complejas y componer movimientos diversos según la demanda, lo que permite experiencias más interactivas e inmersivas.

English

Crafting a single, versatile physics-based controller that can breathe life into interactive characters across a wide spectrum of scenarios represents an exciting frontier in character animation. An ideal controller should support diverse control modalities, such as sparse target keyframes, text instructions, and scene information. While previous works have proposed physically simulated, scene-aware control models, these systems have predominantly focused on developing controllers that each specializes in a narrow set of tasks and control modalities. This work presents MaskedMimic, a novel approach that formulates physics-based character control as a general motion inpainting problem. Our key insight is to train a single unified model to synthesize motions from partial (masked) motion descriptions, such as masked keyframes, objects, text descriptions, or any combination thereof. This is achieved by leveraging motion tracking data and designing a scalable training method that can effectively utilize diverse motion descriptions to produce coherent animations. Through this process, our approach learns a physics-based controller that provides an intuitive control interface without requiring tedious reward engineering for all behaviors of interest. The resulting controller supports a wide range of control modalities and enables seamless transitions between disparate tasks. By unifying character control through motion inpainting, MaskedMimic creates versatile virtual characters. These characters can dynamically adapt to complex scenes and compose diverse motions on demand, enabling more interactive and immersive experiences.