Apprendimento di Politiche per Alzarsi per Robot Umanoidi nel Mondo Reale

Learning Getting-Up Policies for Real-World Humanoid Robots

February 17, 2025

Autori: Xialin He, Runpei Dong, Zixuan Chen, Saurabh Gupta

cs.AI

Abstract

Il recupero automatico da una caduta è un prerequisito cruciale prima che i robot umanoidi possano essere impiegati in modo affidabile. Progettare manualmente controller per rialzarsi è difficile a causa delle varie configurazioni in cui un umanoide può trovarsi dopo una caduta e dei terreni complessi su cui si prevede che i robot umanoidi operino. Questo articolo sviluppa un framework di apprendimento per produrre controller che consentano ai robot umanoidi di rialzarsi da diverse configurazioni su vari terreni. A differenza delle precedenti applicazioni di successo dell'apprendimento della locomozione umanoide, il compito di rialzarsi coinvolge modelli di contatto complessi, che richiedono una modellazione accurata della geometria delle collisioni e ricompense più sporadiche. Affrontiamo queste sfide attraverso un approccio in due fasi che segue un curriculum. La prima fase si concentra sulla scoperta di una buona traiettoria per rialzarsi con vincoli minimi sulla fluidità o sui limiti di velocità/coppia. La seconda fase perfeziona quindi i movimenti scoperti in movimenti utilizzabili (cioè fluidi e lenti) che sono robusti alle variazioni nella configurazione iniziale e nei terreni. Troviamo che queste innovazioni consentono a un robot umanoide G1 nel mondo reale di rialzarsi da due situazioni principali che abbiamo considerato: a) sdraiato a faccia in su e b) sdraiato a faccia in giù, entrambe testate su superfici piatte, deformabili, scivolose e su pendii (ad esempio, erba inclinata e campo innevato). Per quanto ne sappiamo, questa è la prima dimostrazione di successo di politiche di rialzo apprese per robot umanoidi di dimensioni umane nel mondo reale. Pagina del progetto: https://humanoid-getup.github.io/

English

Automatic fall recovery is a crucial prerequisite before humanoid robots can be reliably deployed. Hand-designing controllers for getting up is difficult because of the varied configurations a humanoid can end up in after a fall and the challenging terrains humanoid robots are expected to operate on. This paper develops a learning framework to produce controllers that enable humanoid robots to get up from varying configurations on varying terrains. Unlike previous successful applications of humanoid locomotion learning, the getting-up task involves complex contact patterns, which necessitates accurately modeling the collision geometry and sparser rewards. We address these challenges through a two-phase approach that follows a curriculum. The first stage focuses on discovering a good getting-up trajectory under minimal constraints on smoothness or speed / torque limits. The second stage then refines the discovered motions into deployable (i.e. smooth and slow) motions that are robust to variations in initial configuration and terrains. We find these innovations enable a real-world G1 humanoid robot to get up from two main situations that we considered: a) lying face up and b) lying face down, both tested on flat, deformable, slippery surfaces and slopes (e.g., sloppy grass and snowfield). To the best of our knowledge, this is the first successful demonstration of learned getting-up policies for human-sized humanoid robots in the real world. Project page: https://humanoid-getup.github.io/