Lernen von Aufsteh-Policies für humanoide Roboter in der realen Welt

Learning Getting-Up Policies for Real-World Humanoid Robots

February 17, 2025

Autoren: Xialin He, Runpei Dong, Zixuan Chen, Saurabh Gupta

cs.AI

Zusammenfassung

Die automatische Wiederherstellung nach einem Sturz ist eine entscheidende Voraussetzung, bevor humanoide Roboter zuverlässig eingesetzt werden können. Die manuelle Gestaltung von Steuerungen zum Aufstehen ist schwierig, da die verschiedenen Konfigurationen, in denen sich ein Humanoid nach einem Sturz befinden kann, und die anspruchsvollen Gelände, auf denen humanoide Roboter betrieben werden sollen, berücksichtigt werden müssen. In diesem Artikel wird ein Lernrahmen entwickelt, um Steuerungen zu erstellen, die es humanoiden Robotern ermöglichen, aus verschiedenen Konfigurationen auf verschiedenen Geländen aufzustehen. Im Gegensatz zu früheren erfolgreichen Anwendungen des Lernens von humanoider Fortbewegung beinhaltet die Aufsteh-Aufgabe komplexe Kontaktmuster, was eine genaue Modellierung der Kollisionsgeometrie und spärlichere Belohnungen erfordert. Wir gehen diese Herausforderungen mit einem zweiphasigen Ansatz an, der einem Lehrplan folgt. Die erste Phase konzentriert sich darauf, eine gute Aufsteh-Trajektorie unter minimalen Einschränkungen hinsichtlich der Geschmeidigkeit oder Geschwindigkeit/Drehmomentgrenzen zu entdecken. Die zweite Phase verfeinert dann die entdeckten Bewegungen zu einsetzbaren (d. h. geschmeidigen und langsamen) Bewegungen, die gegenüber Variationen in der Anfangskonfiguration und dem Gelände robust sind. Wir stellen fest, dass diese Innovationen einem humanoiden Roboter der G1-Klasse in der realen Welt ermöglichen, aus zwei Hauptsituationen aufzustehen, die wir betrachtet haben: a) auf dem Rücken liegend und b) mit dem Gesicht nach unten liegend, jeweils getestet auf flachen, verformbaren, rutschigen Oberflächen und Hängen (z. B. rutschiges Gras und Schneefeld). Nach unserem Kenntnisstand handelt es sich hierbei um die erste erfolgreiche Demonstration von erlernten Aufsteh-Richtlinien für humanoiden Roboter in menschlicher Größe in der realen Welt. Projektseite: https://humanoid-getup.github.io/

English

Automatic fall recovery is a crucial prerequisite before humanoid robots can be reliably deployed. Hand-designing controllers for getting up is difficult because of the varied configurations a humanoid can end up in after a fall and the challenging terrains humanoid robots are expected to operate on. This paper develops a learning framework to produce controllers that enable humanoid robots to get up from varying configurations on varying terrains. Unlike previous successful applications of humanoid locomotion learning, the getting-up task involves complex contact patterns, which necessitates accurately modeling the collision geometry and sparser rewards. We address these challenges through a two-phase approach that follows a curriculum. The first stage focuses on discovering a good getting-up trajectory under minimal constraints on smoothness or speed / torque limits. The second stage then refines the discovered motions into deployable (i.e. smooth and slow) motions that are robust to variations in initial configuration and terrains. We find these innovations enable a real-world G1 humanoid robot to get up from two main situations that we considered: a) lying face up and b) lying face down, both tested on flat, deformable, slippery surfaces and slopes (e.g., sloppy grass and snowfield). To the best of our knowledge, this is the first successful demonstration of learned getting-up policies for human-sized humanoid robots in the real world. Project page: https://humanoid-getup.github.io/