Aprendizaje de Políticas de Levantamiento para Robots Humanoides del Mundo Real

Learning Getting-Up Policies for Real-World Humanoid Robots

February 17, 2025

Autores: Xialin He, Runpei Dong, Zixuan Chen, Saurabh Gupta

cs.AI

Resumen

La recuperación automática de caídas es un requisito crucial antes de que los robots humanoides puedan ser desplegados de manera confiable. El diseño manual de controladores para levantarse es difícil debido a las diversas configuraciones en las que un humanoide puede terminar después de una caída y a los terrenos desafiantes en los que se espera que operen los robots humanoides. Este artículo desarrolla un marco de aprendizaje para producir controladores que permitan a los robots humanoides levantarse desde diversas configuraciones en terrenos variados. A diferencia de aplicaciones exitosas anteriores de aprendizaje de locomoción humana, la tarea de levantarse implica patrones de contacto complejos, lo que requiere modelar con precisión la geometría de colisión y recompensas más dispersas. Abordamos estos desafíos a través de un enfoque de dos fases que sigue un plan de estudios. La primera etapa se centra en descubrir una buena trayectoria para levantarse con mínimas restricciones en suavidad o límites de velocidad/torque. La segunda etapa refina luego los movimientos descubiertos en movimientos desplegables (es decir, suaves y lentos) que son robustos ante variaciones en la configuración inicial y los terrenos. Encontramos que estas innovaciones permiten a un robot humanoide G1 del mundo real levantarse de dos situaciones principales que consideramos: a) acostado boca arriba y b) acostado boca abajo, ambos probados en superficies planas, deformables, resbaladizas y pendientes (por ejemplo, césped inclinado y campo nevado). Hasta donde sabemos, esta es la primera demostración exitosa de políticas de levantamiento aprendidas para robots humanoides de tamaño humano en el mundo real. Página del proyecto: https://humanoid-getup.github.io/

English

Automatic fall recovery is a crucial prerequisite before humanoid robots can be reliably deployed. Hand-designing controllers for getting up is difficult because of the varied configurations a humanoid can end up in after a fall and the challenging terrains humanoid robots are expected to operate on. This paper develops a learning framework to produce controllers that enable humanoid robots to get up from varying configurations on varying terrains. Unlike previous successful applications of humanoid locomotion learning, the getting-up task involves complex contact patterns, which necessitates accurately modeling the collision geometry and sparser rewards. We address these challenges through a two-phase approach that follows a curriculum. The first stage focuses on discovering a good getting-up trajectory under minimal constraints on smoothness or speed / torque limits. The second stage then refines the discovered motions into deployable (i.e. smooth and slow) motions that are robust to variations in initial configuration and terrains. We find these innovations enable a real-world G1 humanoid robot to get up from two main situations that we considered: a) lying face up and b) lying face down, both tested on flat, deformable, slippery surfaces and slopes (e.g., sloppy grass and snowfield). To the best of our knowledge, this is the first successful demonstration of learned getting-up policies for human-sized humanoid robots in the real world. Project page: https://humanoid-getup.github.io/