Apprentissage de Mouvement Composite avec Contrôle de Tâche

Composite Motion Learning with Task Control

May 5, 2023

Auteurs: Pei Xu, Xiumin Shang, Victor Zordan, Ioannis Karamouzas

cs.AI

Résumé

Nous présentons une méthode d'apprentissage profond pour le contrôle composite et orienté tâche des mouvements de personnages simulés physiquement. Contrairement aux approches existantes basées sur les données utilisant l'apprentissage par renforcement pour imiter des mouvements corporels complets, nous apprenons des mouvements découplés pour des parties spécifiques du corps à partir de multiples mouvements de référence simultanément et directement, en exploitant l'utilisation de plusieurs discriminateurs dans un cadre similaire aux GAN. Dans ce processus, aucun travail manuel n'est nécessaire pour produire des mouvements de référence composites pour l'apprentissage. Au lieu de cela, la politique de contrôle explore par elle-même comment les mouvements composites peuvent être combinés automatiquement. Nous prenons également en compte plusieurs récompenses spécifiques aux tâches et entraînons une politique de contrôle unique à objectifs multiples. À cette fin, nous proposons un nouveau cadre pour l'apprentissage multi-objectif qui équilibre de manière adaptative l'apprentissage de mouvements disparates provenant de multiples sources et de multiples objectifs de contrôle orientés vers un but. De plus, comme les mouvements composites sont généralement des augmentations de comportements plus simples, nous introduisons une méthode efficace en termes d'échantillons pour entraîner des politiques de contrôle composites de manière incrémentielle, où nous réutilisons une politique pré-entraînée comme méta-politique et entraînons une politique coopérative qui adapte la méta-politique pour de nouvelles tâches composites. Nous démontrons l'applicabilité de notre approche sur une variété de tâches multi-objectifs complexes impliquant à la fois l'imitation de mouvements composites et le contrôle orienté vers plusieurs buts.

English

We present a deep learning method for composite and task-driven motion control for physically simulated characters. In contrast to existing data-driven approaches using reinforcement learning that imitate full-body motions, we learn decoupled motions for specific body parts from multiple reference motions simultaneously and directly by leveraging the use of multiple discriminators in a GAN-like setup. In this process, there is no need of any manual work to produce composite reference motions for learning. Instead, the control policy explores by itself how the composite motions can be combined automatically. We further account for multiple task-specific rewards and train a single, multi-objective control policy. To this end, we propose a novel framework for multi-objective learning that adaptively balances the learning of disparate motions from multiple sources and multiple goal-directed control objectives. In addition, as composite motions are typically augmentations of simpler behaviors, we introduce a sample-efficient method for training composite control policies in an incremental manner, where we reuse a pre-trained policy as the meta policy and train a cooperative policy that adapts the meta one for new composite tasks. We show the applicability of our approach on a variety of challenging multi-objective tasks involving both composite motion imitation and multiple goal-directed control.