Composiet Bewegingsleren met Taakcontrole

Composite Motion Learning with Task Control

May 5, 2023

Auteurs: Pei Xu, Xiumin Shang, Victor Zordan, Ioannis Karamouzas

cs.AI

Samenvatting

We presenteren een deep learning-methode voor samengestelde en taakgestuurde bewegingscontrole voor fysiek gesimuleerde karakters. In tegenstelling tot bestaande data-gedreven benaderingen die gebruikmaken van reinforcement learning om volledige lichaamsbewegingen na te bootsen, leren we ontkoppelde bewegingen voor specifieke lichaamsdelen van meerdere referentiebewegingen tegelijkertijd en direct door gebruik te maken van meerdere discriminators in een GAN-achtige opzet. In dit proces is geen handmatig werk nodig om samengestelde referentiebewegingen voor het leren te produceren. In plaats daarvan verkent het controlebeleid zelf hoe de samengestelde bewegingen automatisch gecombineerd kunnen worden. We houden verder rekening met meerdere taakspecifieke beloningen en trainen een enkel, multi-objectief controlebeleid. Hiertoe stellen we een nieuw raamwerk voor multi-objectief leren voor dat adaptief het leren van verschillende bewegingen uit meerdere bronnen en meerdere doelgerichte controleobjectieven in balans brengt. Daarnaast, omdat samengestelde bewegingen typisch uitbreidingen zijn van eenvoudigere gedragingen, introduceren we een sample-efficiënte methode voor het trainen van samengestelde controlebeleidsregels op een incrementele manier, waarbij we een vooraf getraind beleid hergebruiken als het meta-beleid en een coöperatief beleid trainen dat het meta-beleid aanpast voor nieuwe samengestelde taken. We tonen de toepasbaarheid van onze aanpak aan op een verscheidenheid aan uitdagende multi-objectieve taken die zowel samengestelde bewegingen imiteren als meerdere doelgerichte controle omvatten.

English

We present a deep learning method for composite and task-driven motion control for physically simulated characters. In contrast to existing data-driven approaches using reinforcement learning that imitate full-body motions, we learn decoupled motions for specific body parts from multiple reference motions simultaneously and directly by leveraging the use of multiple discriminators in a GAN-like setup. In this process, there is no need of any manual work to produce composite reference motions for learning. Instead, the control policy explores by itself how the composite motions can be combined automatically. We further account for multiple task-specific rewards and train a single, multi-objective control policy. To this end, we propose a novel framework for multi-objective learning that adaptively balances the learning of disparate motions from multiple sources and multiple goal-directed control objectives. In addition, as composite motions are typically augmentations of simpler behaviors, we introduce a sample-efficient method for training composite control policies in an incremental manner, where we reuse a pre-trained policy as the meta policy and train a cooperative policy that adapts the meta one for new composite tasks. We show the applicability of our approach on a variety of challenging multi-objective tasks involving both composite motion imitation and multiple goal-directed control.