CAJun : Saut continu adaptatif utilisant un contrôleur centroidal appris

CAJun: Continuous Adaptive Jumping using a Learned Centroidal Controller

June 16, 2023

Auteurs: Yuxiang Yang, Guanya Shi, Xiangyun Meng, Wenhao Yu, Tingnan Zhang, Jie Tan, Byron Boots

cs.AI

Résumé

Nous présentons CAJun, un nouveau cadre hiérarchique d'apprentissage et de contrôle qui permet aux robots à pattes de sauter de manière continue avec des distances de saut adaptatives. CAJun se compose d'une politique de haut niveau centrée sur le centre de masse et d'un contrôleur de pattes de bas niveau. En particulier, nous utilisons l'apprentissage par renforcement (RL) pour entraîner la politique centrée sur le centre de masse, qui spécifie le timing de la démarche, la vitesse de la base et la position du pied oscillant pour le contrôleur de pattes. Le contrôleur de pattes optimise les commandes moteurs pour les pattes en oscillation et en appui en fonction du timing de la démarche pour suivre la cible du pied oscillant et les commandes de vitesse de la base en utilisant un contrôle optimal. De plus, nous reformulons l'optimiseur de la patte en appui dans le contrôleur de pattes pour accélérer l'entraînement de la politique d'un ordre de grandeur. Notre système combine la polyvalence de l'apprentissage avec la robustesse du contrôle optimal. En combinant l'apprentissage par renforcement avec des méthodes de contrôle optimal, notre système atteint la polyvalence de l'apprentissage tout en bénéficiant de la robustesse des méthodes de contrôle, le rendant facilement transférable à des robots réels. Nous montrons qu'après 20 minutes d'entraînement sur un seul GPU, CAJun peut réaliser des sauts continus et longs avec des distances adaptatives sur un robot Go1 avec de faibles écarts entre la simulation et la réalité. De plus, le robot peut sauter par-dessus des espaces d'une largeur maximale de 70 cm, ce qui est plus de 40 % plus large que les méthodes existantes.

English

We present CAJun, a novel hierarchical learning and control framework that enables legged robots to jump continuously with adaptive jumping distances. CAJun consists of a high-level centroidal policy and a low-level leg controller. In particular, we use reinforcement learning (RL) to train the centroidal policy, which specifies the gait timing, base velocity, and swing foot position for the leg controller. The leg controller optimizes motor commands for the swing and stance legs according to the gait timing to track the swing foot target and base velocity commands using optimal control. Additionally, we reformulate the stance leg optimizer in the leg controller to speed up policy training by an order of magnitude. Our system combines the versatility of learning with the robustness of optimal control. By combining RL with optimal control methods, our system achieves the versatility of learning while enjoys the robustness from control methods, making it easily transferable to real robots. We show that after 20 minutes of training on a single GPU, CAJun can achieve continuous, long jumps with adaptive distances on a Go1 robot with small sim-to-real gaps. Moreover, the robot can jump across gaps with a maximum width of 70cm, which is over 40% wider than existing methods.