MaskedMimic : Contrôle unifié des personnages basé sur la physique grâce à l'inpainting de mouvement masqué

MaskedMimic: Unified Physics-Based Character Control Through Masked Motion Inpainting

September 22, 2024

Auteurs: Chen Tessler, Yunrong Guo, Ofir Nabati, Gal Chechik, Xue Bin Peng

cs.AI

Résumé

La création d'un contrôleur unique et polyvalent basé sur la physique, capable de donner vie à des personnages interactifs dans une large gamme de scénarios, représente une frontière passionnante dans l'animation de personnages. Un contrôleur idéal devrait prendre en charge diverses modalités de contrôle, telles que des keyframes cibles éparses, des instructions textuelles et des informations de scène. Alors que des travaux antérieurs ont proposé des modèles de contrôle physiquement simulés et conscients de la scène, ces systèmes se sont principalement concentrés sur le développement de contrôleurs spécialisés dans un ensemble restreint de tâches et de modalités de contrôle. Ce travail présente MaskedMimic, une approche novatrice qui formule le contrôle de personnages basé sur la physique comme un problème général d'inpainting de mouvement. Notre insight clé est de former un modèle unifié unique pour synthétiser des mouvements à partir de descriptions de mouvement partielles (masquées), telles que des keyframes masqués, des objets, des descriptions textuelles, ou toute combinaison de ceux-ci. Cela est réalisé en exploitant les données de suivi de mouvement et en concevant une méthode d'entraînement évolutive qui peut utiliser efficacement diverses descriptions de mouvement pour produire des animations cohérentes. Grâce à ce processus, notre approche apprend un contrôleur basé sur la physique qui offre une interface de contrôle intuitive sans nécessiter d'ingénierie de récompense fastidieuse pour tous les comportements d'intérêt. Le contrôleur résultant prend en charge une large gamme de modalités de contrôle et permet des transitions fluides entre des tâches disparates. En unifiant le contrôle des personnages par l'inpainting de mouvement, MaskedMimic crée des personnages virtuels polyvalents. Ces personnages peuvent s'adapter dynamiquement à des scènes complexes et composer des mouvements divers à la demande, permettant des expériences interactives et immersives plus riches.

English

Crafting a single, versatile physics-based controller that can breathe life into interactive characters across a wide spectrum of scenarios represents an exciting frontier in character animation. An ideal controller should support diverse control modalities, such as sparse target keyframes, text instructions, and scene information. While previous works have proposed physically simulated, scene-aware control models, these systems have predominantly focused on developing controllers that each specializes in a narrow set of tasks and control modalities. This work presents MaskedMimic, a novel approach that formulates physics-based character control as a general motion inpainting problem. Our key insight is to train a single unified model to synthesize motions from partial (masked) motion descriptions, such as masked keyframes, objects, text descriptions, or any combination thereof. This is achieved by leveraging motion tracking data and designing a scalable training method that can effectively utilize diverse motion descriptions to produce coherent animations. Through this process, our approach learns a physics-based controller that provides an intuitive control interface without requiring tedious reward engineering for all behaviors of interest. The resulting controller supports a wide range of control modalities and enables seamless transitions between disparate tasks. By unifying character control through motion inpainting, MaskedMimic creates versatile virtual characters. These characters can dynamically adapt to complex scenes and compose diverse motions on demand, enabling more interactive and immersive experiences.