Apprentissage d'Automates Hybrides à Temps Discret : La Locomotion à Pattes Rencontre le Skateboard

Discrete-Time Hybrid Automata Learning: Legged Locomotion Meets Skateboarding

March 3, 2025

Auteurs: Hang Liu, Sangli Teng, Ben Liu, Wei Zhang, Maani Ghaffari

cs.AI

Résumé

Cet article présente le Discrete-time Hybrid Automata Learning (DHAL), un cadre utilisant l'apprentissage par renforcement on-policy pour identifier et exécuter des changements de mode sans segmentation de trajectoire ni apprentissage de fonction d'événement. Les systèmes dynamiques hybrides, qui incluent un flux continu et des changements de mode discrets, peuvent modéliser des tâches robotiques telles que la locomotion de robots à pattes. Les méthodes basées sur des modèles dépendent généralement de démarches prédéfinies, tandis que les approches sans modèle manquent de connaissances explicites sur les changements de mode. Les méthodes actuelles identifient les modes discrets via une segmentation avant de régresser le flux continu, mais apprendre la dynamique complexe de corps rigides en haute dimension sans étiquettes de trajectoire ni segmentation reste un problème ouvert et difficile. Notre approche intègre une distribution de politique bêta et une architecture multi-critique pour modéliser des mouvements guidés par le contact, illustrés par une tâche complexe de robot quadrupède sur un skateboard. Nous validons notre méthode à travers des simulations et des tests en conditions réelles, démontrant une performance robuste dans les systèmes dynamiques hybrides.

English

This paper introduces Discrete-time Hybrid Automata Learning (DHAL), a framework using on-policy Reinforcement Learning to identify and execute mode-switching without trajectory segmentation or event function learning. Hybrid dynamical systems, which include continuous flow and discrete mode switching, can model robotics tasks like legged robot locomotion. Model-based methods usually depend on predefined gaits, while model-free approaches lack explicit mode-switching knowledge. Current methods identify discrete modes via segmentation before regressing continuous flow, but learning high-dimensional complex rigid body dynamics without trajectory labels or segmentation is a challenging open problem. Our approach incorporates a beta policy distribution and a multi-critic architecture to model contact-guided motions, exemplified by a challenging quadrupedal robot skateboard task. We validate our method through simulations and real-world tests, demonstrating robust performance in hybrid dynamical systems.