Aprendizado de Políticas de Levantamento para Robôs Humanoides no Mundo Real

Learning Getting-Up Policies for Real-World Humanoid Robots

February 17, 2025

Autores: Xialin He, Runpei Dong, Zixuan Chen, Saurabh Gupta

cs.AI

Resumo

A recuperação automática de quedas é um pré-requisito crucial antes que robôs humanoides possam ser implantados com confiabilidade. Projetar controladores manualmente para se levantar é difícil devido às diversas configurações em que um humanoide pode terminar após uma queda e aos terrenos desafiadores em que se espera que robôs humanoides operem. Este artigo desenvolve uma estrutura de aprendizado para produzir controladores que permitem que robôs humanoides se levantem de várias configurações em diferentes terrenos. Diferentemente de aplicações bem-sucedidas anteriores de aprendizado de locomoção para humanoides, a tarefa de se levantar envolve padrões de contato complexos, o que exige a modelagem precisa da geometria de colisão e recompensas mais esparsas. Abordamos esses desafios por meio de uma abordagem em duas fases que segue um currículo. A primeira etapa se concentra em descobrir uma boa trajetória para se levantar com restrições mínimas de suavidade ou limites de velocidade/torque. A segunda etapa então refina os movimentos descobertos em movimentos implantáveis (ou seja, suaves e lentos) que são robustos a variações na configuração inicial e nos terrenos. Descobrimos que essas inovações permitem que um robô humanoide G1 do mundo real se levante de duas situações principais que consideramos: a) deitado de costas e b) deitado de bruços, ambos testados em superfícies planas, deformáveis, escorregadias e inclinadas (por exemplo, grama inclinada e campo de neve). Até onde sabemos, esta é a primeira demonstração bem-sucedida de políticas aprendidas para se levantar em robôs humanoides de tamanho humano no mundo real. Página do projeto: https://humanoid-getup.github.io/

English

Automatic fall recovery is a crucial prerequisite before humanoid robots can be reliably deployed. Hand-designing controllers for getting up is difficult because of the varied configurations a humanoid can end up in after a fall and the challenging terrains humanoid robots are expected to operate on. This paper develops a learning framework to produce controllers that enable humanoid robots to get up from varying configurations on varying terrains. Unlike previous successful applications of humanoid locomotion learning, the getting-up task involves complex contact patterns, which necessitates accurately modeling the collision geometry and sparser rewards. We address these challenges through a two-phase approach that follows a curriculum. The first stage focuses on discovering a good getting-up trajectory under minimal constraints on smoothness or speed / torque limits. The second stage then refines the discovered motions into deployable (i.e. smooth and slow) motions that are robust to variations in initial configuration and terrains. We find these innovations enable a real-world G1 humanoid robot to get up from two main situations that we considered: a) lying face up and b) lying face down, both tested on flat, deformable, slippery surfaces and slopes (e.g., sloppy grass and snowfield). To the best of our knowledge, this is the first successful demonstration of learned getting-up policies for human-sized humanoid robots in the real world. Project page: https://humanoid-getup.github.io/