Apprendimento del Movimento Composito con Controllo del Compito

Composite Motion Learning with Task Control

May 5, 2023

Autori: Pei Xu, Xiumin Shang, Victor Zordan, Ioannis Karamouzas

cs.AI

Abstract

Presentiamo un metodo di deep learning per il controllo composito e guidato da task del movimento di personaggi simulati fisicamente. A differenza degli approcci esistenti basati sui dati che utilizzano il reinforcement learning per imitare movimenti completi del corpo, apprendiamo movimenti disaccoppiati per parti specifiche del corpo da più movimenti di riferimento simultaneamente e direttamente, sfruttando l'uso di più discriminatori in una configurazione simile a una GAN. In questo processo, non è necessario alcun lavoro manuale per produrre movimenti di riferimento compositi per l'apprendimento. Invece, la politica di controllo esplora autonomamente come i movimenti compositi possano essere combinati automaticamente. Consideriamo inoltre più ricompense specifiche per task e addestriamo una singola politica di controllo multi-obiettivo. A tal fine, proponiamo un nuovo framework per l'apprendimento multi-obiettivo che bilancia in modo adattivo l'apprendimento di movimenti disparati da più fonti e più obiettivi di controllo orientati al raggiungimento di scopi. Inoltre, poiché i movimenti compositi sono tipicamente estensioni di comportamenti più semplici, introduciamo un metodo efficiente in termini di campioni per addestrare politiche di controllo composite in modo incrementale, in cui riutilizziamo una politica pre-addestrata come meta politica e addestriamo una politica cooperativa che adatta la meta politica per nuovi task compositi. Dimostriamo l'applicabilità del nostro approccio su una varietà di task multi-obiettivo impegnativi che coinvolgono sia l'imitazione di movimenti compositi che il controllo multi-obiettivo orientato al raggiungimento di scopi.

English

We present a deep learning method for composite and task-driven motion control for physically simulated characters. In contrast to existing data-driven approaches using reinforcement learning that imitate full-body motions, we learn decoupled motions for specific body parts from multiple reference motions simultaneously and directly by leveraging the use of multiple discriminators in a GAN-like setup. In this process, there is no need of any manual work to produce composite reference motions for learning. Instead, the control policy explores by itself how the composite motions can be combined automatically. We further account for multiple task-specific rewards and train a single, multi-objective control policy. To this end, we propose a novel framework for multi-objective learning that adaptively balances the learning of disparate motions from multiple sources and multiple goal-directed control objectives. In addition, as composite motions are typically augmentations of simpler behaviors, we introduce a sample-efficient method for training composite control policies in an incremental manner, where we reuse a pre-trained policy as the meta policy and train a cooperative policy that adapts the meta one for new composite tasks. We show the applicability of our approach on a variety of challenging multi-objective tasks involving both composite motion imitation and multiple goal-directed control.