Apprendimento di Automi Ibridi a Tempo Discreto: La Locomozione su Gambe Incontra lo Skateboard

Discrete-Time Hybrid Automata Learning: Legged Locomotion Meets Skateboarding

March 3, 2025

Autori: Hang Liu, Sangli Teng, Ben Liu, Wei Zhang, Maani Ghaffari

cs.AI

Abstract

Questo articolo introduce il Discrete-time Hybrid Automata Learning (DHAL), un framework che utilizza il Reinforcement Learning on-policy per identificare ed eseguire il cambio di modalità senza segmentazione della traiettoria o apprendimento di funzioni di evento. I sistemi dinamici ibridi, che includono flusso continuo e cambio di modalità discreto, possono modellare compiti di robotica come la locomozione di robot con zampe. I metodi basati su modello dipendono solitamente da andature predefinite, mentre gli approcci senza modello mancano di conoscenza esplicita sul cambio di modalità. I metodi attuali identificano le modalità discrete tramite segmentazione prima di regredire il flusso continuo, ma apprendere dinamiche complesse di corpi rigidi ad alta dimensionalità senza etichette di traiettoria o segmentazione è un problema aperto e impegnativo. Il nostro approccio incorpora una distribuzione di politiche beta e un'architettura multi-critico per modellare movimenti guidati dal contatto, esemplificati da un compito impegnativo di robot quadrupede su skateboard. Validiamo il nostro metodo attraverso simulazioni e test nel mondo reale, dimostrando prestazioni robuste nei sistemi dinamici ibridi.

English

This paper introduces Discrete-time Hybrid Automata Learning (DHAL), a framework using on-policy Reinforcement Learning to identify and execute mode-switching without trajectory segmentation or event function learning. Hybrid dynamical systems, which include continuous flow and discrete mode switching, can model robotics tasks like legged robot locomotion. Model-based methods usually depend on predefined gaits, while model-free approaches lack explicit mode-switching knowledge. Current methods identify discrete modes via segmentation before regressing continuous flow, but learning high-dimensional complex rigid body dynamics without trajectory labels or segmentation is a challenging open problem. Our approach incorporates a beta policy distribution and a multi-critic architecture to model contact-guided motions, exemplified by a challenging quadrupedal robot skateboard task. We validate our method through simulations and real-world tests, demonstrating robust performance in hybrid dynamical systems.