Apprentissage des politiques de se lever pour les robots humanoïdes du monde réel

Learning Getting-Up Policies for Real-World Humanoid Robots

February 17, 2025

Auteurs: Xialin He, Runpei Dong, Zixuan Chen, Saurabh Gupta

cs.AI

Résumé

La récupération automatique après une chute est une condition préalable cruciale avant que les robots humanoïdes puissent être déployés de manière fiable. Concevoir manuellement des contrôleurs pour se relever est difficile en raison des configurations variées dans lesquelles un humanoïde peut se retrouver après une chute et des terrains exigeants sur lesquels les robots humanoïdes sont censés fonctionner. Ce document développe un cadre d'apprentissage pour produire des contrôleurs permettant aux robots humanoïdes de se relever à partir de configurations variables sur des terrains variés. Contrairement aux applications précédentes réussies de l'apprentissage de la locomotion humanoïde, la tâche de se relever implique des schémas de contact complexes, ce qui nécessite de modéliser avec précision la géométrie de la collision et des récompenses plus rares. Nous relevons ces défis grâce à une approche en deux phases qui suit un programme d'études. La première étape se concentre sur la découverte d'une bonne trajectoire de récupération avec des contraintes minimales sur la fluidité ou les limites de vitesse / couple. La deuxième étape affine ensuite les mouvements découverts en mouvements déployables (c'est-à-dire fluides et lents) qui sont robustes aux variations de configuration initiale et de terrains. Nous constatons que ces innovations permettent à un robot humanoïde G1 du monde réel de se relever de deux situations principales que nous avons considérées : a) allongé sur le dos et b) allongé sur le ventre, testé sur des surfaces plates, déformables, glissantes et des pentes (par exemple, de l'herbe en pente et un champ enneigé). À notre connaissance, il s'agit de la première démonstration réussie de politiques apprises pour se relever pour des robots humanoïdes de taille humaine dans le monde réel. Page du projet : https://humanoid-getup.github.io/

English

Automatic fall recovery is a crucial prerequisite before humanoid robots can be reliably deployed. Hand-designing controllers for getting up is difficult because of the varied configurations a humanoid can end up in after a fall and the challenging terrains humanoid robots are expected to operate on. This paper develops a learning framework to produce controllers that enable humanoid robots to get up from varying configurations on varying terrains. Unlike previous successful applications of humanoid locomotion learning, the getting-up task involves complex contact patterns, which necessitates accurately modeling the collision geometry and sparser rewards. We address these challenges through a two-phase approach that follows a curriculum. The first stage focuses on discovering a good getting-up trajectory under minimal constraints on smoothness or speed / torque limits. The second stage then refines the discovered motions into deployable (i.e. smooth and slow) motions that are robust to variations in initial configuration and terrains. We find these innovations enable a real-world G1 humanoid robot to get up from two main situations that we considered: a) lying face up and b) lying face down, both tested on flat, deformable, slippery surfaces and slopes (e.g., sloppy grass and snowfield). To the best of our knowledge, this is the first successful demonstration of learned getting-up policies for human-sized humanoid robots in the real world. Project page: https://humanoid-getup.github.io/