MaskedMimic: Объединенное физическое управление персонажем через маскирование заполнения движения.

MaskedMimic: Unified Physics-Based Character Control Through Masked Motion Inpainting

September 22, 2024

Авторы: Chen Tessler, Yunrong Guo, Ofir Nabati, Gal Chechik, Xue Bin Peng

cs.AI

Аннотация

Создание единого, универсального контроллера на основе физики, способного оживить интерактивных персонажей в широком спектре сценариев, представляет собой захватывающую границу в анимации персонажей. Идеальный контроллер должен поддерживать различные режимы управления, такие как разреженные ключевые кадры-цели, текстовые инструкции и информацию о сцене. В то время как предыдущие работы предлагали физически моделируемые контрольные модели, осведомленные о сцене, эти системы в основном сосредотачивались на разработке контроллеров, каждый из которых специализировался на узком наборе задач и режимов управления. В данной работе представлен MaskedMimic, новый подход, который формулирует управление персонажем на основе физики как общую задачу восстановления движения. Наш ключевой принцип заключается в обучении единой модели для синтеза движений из частичных (замаскированных) описаний движения, таких как замаскированные ключевые кадры, объекты, текстовые описания или любая их комбинация. Это достигается путем использования данных отслеживания движения и разработки масштабируемого метода обучения, который может эффективно использовать разнообразные описания движения для создания согласованных анимаций. Через этот процесс наш подход изучает контроллер на основе физики, который предоставляет интуитивный интерфейс управления без необходимости утомительной инженерии вознаграждения для всех интересующих поведенческих аспектов. Полученный контроллер поддерживает широкий спектр режимов управления и обеспечивает плавные переходы между различными задачами. Объединяя управление персонажем через восстановление движения, MaskedMimic создает универсальных виртуальных персонажей. Эти персонажи могут динамически адаптироваться к сложным сценам и создавать разнообразные движения по запросу, обеспечивая более интерактивные и захватывающие впечатления.

English

Crafting a single, versatile physics-based controller that can breathe life into interactive characters across a wide spectrum of scenarios represents an exciting frontier in character animation. An ideal controller should support diverse control modalities, such as sparse target keyframes, text instructions, and scene information. While previous works have proposed physically simulated, scene-aware control models, these systems have predominantly focused on developing controllers that each specializes in a narrow set of tasks and control modalities. This work presents MaskedMimic, a novel approach that formulates physics-based character control as a general motion inpainting problem. Our key insight is to train a single unified model to synthesize motions from partial (masked) motion descriptions, such as masked keyframes, objects, text descriptions, or any combination thereof. This is achieved by leveraging motion tracking data and designing a scalable training method that can effectively utilize diverse motion descriptions to produce coherent animations. Through this process, our approach learns a physics-based controller that provides an intuitive control interface without requiring tedious reward engineering for all behaviors of interest. The resulting controller supports a wide range of control modalities and enables seamless transitions between disparate tasks. By unifying character control through motion inpainting, MaskedMimic creates versatile virtual characters. These characters can dynamically adapt to complex scenes and compose diverse motions on demand, enabling more interactive and immersive experiences.