MaskedMimic: Controlo Unificado de Personagens Baseado em Física Através de Preenchimento de Movimento Mascrado

MaskedMimic: Unified Physics-Based Character Control Through Masked Motion Inpainting

September 22, 2024

Autores: Chen Tessler, Yunrong Guo, Ofir Nabati, Gal Chechik, Xue Bin Peng

cs.AI

Resumo

Desenvolver um controlador único e versátil baseado em física que possa dar vida a personagens interativos em uma ampla gama de cenários representa uma fronteira emocionante na animação de personagens. Um controlador ideal deve suportar diversas modalidades de controle, como poucos keyframes de destino, instruções de texto e informações de cena. Enquanto trabalhos anteriores propuseram modelos de controle simulados fisicamente e conscientes do cenário, esses sistemas predominantemente focaram em desenvolver controladores que se especializam em um conjunto restrito de tarefas e modalidades de controle. Este trabalho apresenta o MaskedMimic, uma abordagem inovadora que formula o controle de personagens baseado em física como um problema geral de inpainting de movimento. Nosso insight chave é treinar um modelo unificado para sintetizar movimentos a partir de descrições de movimento parciais (mascaradas), como keyframes mascarados, objetos, descrições de texto ou qualquer combinação destes. Isso é alcançado aproveitando dados de rastreamento de movimento e projetando um método de treinamento escalável que pode utilizar efetivamente diversas descrições de movimento para produzir animações coerentes. Através desse processo, nossa abordagem aprende um controlador baseado em física que fornece uma interface de controle intuitiva sem exigir engenharia de recompensa tediosa para todos os comportamentos de interesse. O controlador resultante suporta uma ampla gama de modalidades de controle e permite transições suaves entre tarefas díspares. Ao unificar o controle de personagens através do inpainting de movimento, o MaskedMimic cria personagens virtuais versáteis. Esses personagens podem se adaptar dinamicamente a cenas complexas e compor movimentos diversos sob demanda, possibilitando experiências mais interativas e imersivas.

English

Crafting a single, versatile physics-based controller that can breathe life into interactive characters across a wide spectrum of scenarios represents an exciting frontier in character animation. An ideal controller should support diverse control modalities, such as sparse target keyframes, text instructions, and scene information. While previous works have proposed physically simulated, scene-aware control models, these systems have predominantly focused on developing controllers that each specializes in a narrow set of tasks and control modalities. This work presents MaskedMimic, a novel approach that formulates physics-based character control as a general motion inpainting problem. Our key insight is to train a single unified model to synthesize motions from partial (masked) motion descriptions, such as masked keyframes, objects, text descriptions, or any combination thereof. This is achieved by leveraging motion tracking data and designing a scalable training method that can effectively utilize diverse motion descriptions to produce coherent animations. Through this process, our approach learns a physics-based controller that provides an intuitive control interface without requiring tedious reward engineering for all behaviors of interest. The resulting controller supports a wide range of control modalities and enables seamless transitions between disparate tasks. By unifying character control through motion inpainting, MaskedMimic creates versatile virtual characters. These characters can dynamically adapt to complex scenes and compose diverse motions on demand, enabling more interactive and immersive experiences.