Het aanleren van opstaan beleid voor humanoïde robots in de echte wereld

Learning Getting-Up Policies for Real-World Humanoid Robots

February 17, 2025

Auteurs: Xialin He, Runpei Dong, Zixuan Chen, Saurabh Gupta

cs.AI

Samenvatting

Automatische valherstel is een cruciale voorwaarde voordat humanoïde robots betrouwbaar kunnen worden ingezet. Het handmatig ontwerpen van controllers om op te staan is moeilijk vanwege de gevarieerde configuraties waarin een humanoïde terecht kan komen na een val en de uitdagende terreinen waarop humanoïde robots worden verwacht te opereren. Dit artikel ontwikkelt een leerkader om controllers te produceren die humanoïde robots in staat stellen om op te staan uit verschillende configuraties op verschillende terreinen. In tegenstelling tot eerdere succesvolle toepassingen van het leren van humanoïde locomotie, omvat de opstaantaak complexe contactpatronen, wat een nauwkeurige modellering van de botsingsgeometrie en spaarzamere beloningen vereist. We pakken deze uitdagingen aan door middel van een tweefasige benadering die een leerplan volgt. De eerste fase richt zich op het ontdekken van een goede opstaan-traject met minimale beperkingen op gladheid of snelheid / koppel limieten. De tweede fase verfijnt vervolgens de ontdekte bewegingen tot inzetbare (d.w.z. soepele en langzame) bewegingen die robuust zijn tegen variaties in initiële configuratie en terreinen. We vinden dat deze innovaties een G1 humanoïde robot in de echte wereld in staat stellen om op te staan uit twee belangrijke situaties die we hebben overwogen: a) liggend op de rug en b) liggend op de buik, beide getest op vlakke, vervormbare, gladde oppervlakken en hellingen (bijv. steil gras en sneeuwveld). Voor zover wij weten, is dit de eerste succesvolle demonstratie van geleerde opstaanbeleid voor mensachtige humanoïde robots in de echte wereld. Projectpagina: https://humanoid-getup.github.io/

English

Automatic fall recovery is a crucial prerequisite before humanoid robots can be reliably deployed. Hand-designing controllers for getting up is difficult because of the varied configurations a humanoid can end up in after a fall and the challenging terrains humanoid robots are expected to operate on. This paper develops a learning framework to produce controllers that enable humanoid robots to get up from varying configurations on varying terrains. Unlike previous successful applications of humanoid locomotion learning, the getting-up task involves complex contact patterns, which necessitates accurately modeling the collision geometry and sparser rewards. We address these challenges through a two-phase approach that follows a curriculum. The first stage focuses on discovering a good getting-up trajectory under minimal constraints on smoothness or speed / torque limits. The second stage then refines the discovered motions into deployable (i.e. smooth and slow) motions that are robust to variations in initial configuration and terrains. We find these innovations enable a real-world G1 humanoid robot to get up from two main situations that we considered: a) lying face up and b) lying face down, both tested on flat, deformable, slippery surfaces and slopes (e.g., sloppy grass and snowfield). To the best of our knowledge, this is the first successful demonstration of learned getting-up policies for human-sized humanoid robots in the real world. Project page: https://humanoid-getup.github.io/