離散時間ハイブリッドオートマトン学習：脚式移動とスケートボーディングの融合

Discrete-Time Hybrid Automata Learning: Legged Locomotion Meets Skateboarding

March 3, 2025

著者: Hang Liu, Sangli Teng, Ben Liu, Wei Zhang, Maani Ghaffari

cs.AI

要旨

本論文では、軌道のセグメンテーションやイベント関数の学習を必要とせずにモード切り替えを識別・実行するための、オン・ポリシー強化学習を用いたフレームワークであるDiscrete-time Hybrid Automata Learning (DHAL)を紹介する。連続的な流れと離散的なモード切り替えを含むハイブリッド力学系は、脚式ロボットの移動などのロボティクスタスクをモデル化することができる。モデルベース手法は通常、事前定義された歩容に依存し、モデルフリー手法では明示的なモード切り替えの知識が欠如している。現在の手法では、連続的な流れを回帰する前にセグメンテーションによって離散モードを識別するが、軌道ラベルやセグメンテーションなしで高次元の複雑な剛体力学を学習することは未解決の難しい問題である。我々のアプローチでは、接触誘導運動をモデル化するためにベータ政策分布とマルチクリティックアーキテクチャを組み込んでおり、難しい四足ロボットのスケートボードタスクでその有効性を示している。シミュレーションと実世界でのテストを通じて本手法を検証し、ハイブリッド力学系における堅牢な性能を実証する。

English

This paper introduces Discrete-time Hybrid Automata Learning (DHAL), a framework using on-policy Reinforcement Learning to identify and execute mode-switching without trajectory segmentation or event function learning. Hybrid dynamical systems, which include continuous flow and discrete mode switching, can model robotics tasks like legged robot locomotion. Model-based methods usually depend on predefined gaits, while model-free approaches lack explicit mode-switching knowledge. Current methods identify discrete modes via segmentation before regressing continuous flow, but learning high-dimensional complex rigid body dynamics without trajectory labels or segmentation is a challenging open problem. Our approach incorporates a beta policy distribution and a multi-critic architecture to model contact-guided motions, exemplified by a challenging quadrupedal robot skateboard task. We validate our method through simulations and real-world tests, demonstrating robust performance in hybrid dynamical systems.