Aprendizaje de Movimiento Compuesto con Control de Tareas

Composite Motion Learning with Task Control

May 5, 2023

Autores: Pei Xu, Xiumin Shang, Victor Zordan, Ioannis Karamouzas

cs.AI

Resumen

Presentamos un método de aprendizaje profundo para el control de movimiento compuesto y orientado a tareas en personajes simulados físicamente. A diferencia de los enfoques basados en datos existentes que utilizan aprendizaje por refuerzo para imitar movimientos de cuerpo completo, aprendemos movimientos desacoplados para partes específicas del cuerpo a partir de múltiples movimientos de referencia simultáneamente y de manera directa, aprovechando el uso de múltiples discriminadores en una configuración similar a una GAN. En este proceso, no es necesario realizar ningún trabajo manual para producir movimientos de referencia compuestos para el aprendizaje. En su lugar, la política de control explora por sí misma cómo los movimientos compuestos pueden combinarse automáticamente. Además, consideramos múltiples recompensas específicas de tareas y entrenamos una única política de control multiobjetivo. Para ello, proponemos un marco novedoso para el aprendizaje multiobjetivo que equilibra de manera adaptativa el aprendizaje de movimientos dispares provenientes de múltiples fuentes y múltiples objetivos de control orientados a metas. Adicionalmente, dado que los movimientos compuestos suelen ser ampliaciones de comportamientos más simples, introducimos un método eficiente en términos de muestras para entrenar políticas de control compuestas de manera incremental, donde reutilizamos una política preentrenada como política meta y entrenamos una política cooperativa que adapta la política meta para nuevas tareas compuestas. Demostramos la aplicabilidad de nuestro enfoque en una variedad de tareas multiobjetivo desafiantes que involucran tanto la imitación de movimientos compuestos como el control orientado a múltiples metas.

English

We present a deep learning method for composite and task-driven motion control for physically simulated characters. In contrast to existing data-driven approaches using reinforcement learning that imitate full-body motions, we learn decoupled motions for specific body parts from multiple reference motions simultaneously and directly by leveraging the use of multiple discriminators in a GAN-like setup. In this process, there is no need of any manual work to produce composite reference motions for learning. Instead, the control policy explores by itself how the composite motions can be combined automatically. We further account for multiple task-specific rewards and train a single, multi-objective control policy. To this end, we propose a novel framework for multi-objective learning that adaptively balances the learning of disparate motions from multiple sources and multiple goal-directed control objectives. In addition, as composite motions are typically augmentations of simpler behaviors, we introduce a sample-efficient method for training composite control policies in an incremental manner, where we reuse a pre-trained policy as the meta policy and train a cooperative policy that adapts the meta one for new composite tasks. We show the applicability of our approach on a variety of challenging multi-objective tasks involving both composite motion imitation and multiple goal-directed control.