Zusammengesetzte Bewegungssteuerung mit Aufgabenkontrolle

Composite Motion Learning with Task Control

May 5, 2023

Autoren: Pei Xu, Xiumin Shang, Victor Zordan, Ioannis Karamouzas

cs.AI

Zusammenfassung

Wir stellen eine Deep-Learning-Methode für die zusammengesetzte und aufgabengetriebene Bewegungssteuerung von physikalisch simulierten Charakteren vor. Im Gegensatz zu bestehenden datengetriebenen Ansätzen, die Verstärkungslernen verwenden, um Ganzkörperbewegungen nachzuahmen, lernen wir entkoppelte Bewegungen für spezifische Körperteile aus mehreren Referenzbewegungen gleichzeitig und direkt, indem wir die Verwendung mehrerer Diskriminatoren in einem GAN-ähnlichen Setup nutzen. In diesem Prozess ist keine manuelle Arbeit erforderlich, um zusammengesetzte Referenzbewegungen für das Lernen zu erstellen. Stattdessen erkundet die Steuerungspolitik selbstständig, wie die zusammengesetzten Bewegungen automatisch kombiniert werden können. Wir berücksichtigen weiterhin mehrere aufgabenspezifische Belohnungen und trainieren eine einzige, multiobjektive Steuerungspolitik. Zu diesem Zweck schlagen wir ein neuartiges Framework für das Multi-Objective-Learning vor, das das Lernen unterschiedlicher Bewegungen aus mehreren Quellen und mehrere zielgerichtete Steuerungsziele adaptiv ausbalanciert. Darüber hinaus, da zusammengesetzte Bewegungen typischerweise Erweiterungen einfacherer Verhaltensweisen sind, führen wir eine probeneffiziente Methode für das Training zusammengesetzter Steuerungspolitiken in einem inkrementellen Ansatz ein, bei der wir eine vortrainierte Politik als Meta-Politik wiederverwenden und eine kooperative Politik trainieren, die die Meta-Politik für neue zusammengesetzte Aufgaben anpasst. Wir zeigen die Anwendbarkeit unseres Ansatzes anhand einer Vielzahl herausfordernder Multi-Objective-Aufgaben, die sowohl die Nachahmung zusammengesetzter Bewegungen als auch mehrere zielgerichtete Steuerungen umfassen.

English

We present a deep learning method for composite and task-driven motion control for physically simulated characters. In contrast to existing data-driven approaches using reinforcement learning that imitate full-body motions, we learn decoupled motions for specific body parts from multiple reference motions simultaneously and directly by leveraging the use of multiple discriminators in a GAN-like setup. In this process, there is no need of any manual work to produce composite reference motions for learning. Instead, the control policy explores by itself how the composite motions can be combined automatically. We further account for multiple task-specific rewards and train a single, multi-objective control policy. To this end, we propose a novel framework for multi-objective learning that adaptively balances the learning of disparate motions from multiple sources and multiple goal-directed control objectives. In addition, as composite motions are typically augmentations of simpler behaviors, we introduce a sample-efficient method for training composite control policies in an incremental manner, where we reuse a pre-trained policy as the meta policy and train a cooperative policy that adapts the meta one for new composite tasks. We show the applicability of our approach on a variety of challenging multi-objective tasks involving both composite motion imitation and multiple goal-directed control.