Обучение политикам вставания для гуманоидных роботов в реальном мире.

Learning Getting-Up Policies for Real-World Humanoid Robots

February 17, 2025

Авторы: Xialin He, Runpei Dong, Zixuan Chen, Saurabh Gupta

cs.AI

Аннотация

Автоматическое восстановление после падения является важным предварительным условием перед надежным развертыванием гуманоидных роботов. Ручное проектирование контроллеров для вставания затруднительно из-за разнообразных конфигураций, в которых гуманоид может оказаться после падения, а также из-за сложных местностей, на которых ожидается работа гуманоидных роботов. В данной статье разрабатывается обучающая структура для создания контроллеров, позволяющих гуманоидным роботам вставать из различных конфигураций на различных местностях. В отличие от предыдущих успешных применений обучения гуманоидной локомоции, задача вставания включает в себя сложные контактные паттерны, что требует точного моделирования геометрии столкновения и более разреженных вознаграждений. Мы решаем эти проблемы через двухфазный подход, который следует учебному плану. Первая стадия сосредотачивается на поиске оптимальной траектории вставания с минимальными ограничениями на плавность или пределы скорости/момента. Вторая стадия затем улучшает обнаруженные движения до развертываемых (т.е. плавных и медленных) движений, устойчивых к изменениям начальной конфигурации и местности. Мы обнаружили, что эти инновации позволяют реальному гуманоидному роботу G1 вставать из двух основных ситуаций, которые мы рассматривали: а) лежа лицом вверх и б) лежа лицом вниз, обе протестированы на плоских, деформируемых, скользких поверхностях и склонах (например, крутой траве и снежном поле). На наш взгляд, это первая успешная демонстрация изученных политик вставания для гуманоидных роботов человеческого размера в реальном мире. Страница проекта: https://humanoid-getup.github.io/

English

Automatic fall recovery is a crucial prerequisite before humanoid robots can be reliably deployed. Hand-designing controllers for getting up is difficult because of the varied configurations a humanoid can end up in after a fall and the challenging terrains humanoid robots are expected to operate on. This paper develops a learning framework to produce controllers that enable humanoid robots to get up from varying configurations on varying terrains. Unlike previous successful applications of humanoid locomotion learning, the getting-up task involves complex contact patterns, which necessitates accurately modeling the collision geometry and sparser rewards. We address these challenges through a two-phase approach that follows a curriculum. The first stage focuses on discovering a good getting-up trajectory under minimal constraints on smoothness or speed / torque limits. The second stage then refines the discovered motions into deployable (i.e. smooth and slow) motions that are robust to variations in initial configuration and terrains. We find these innovations enable a real-world G1 humanoid robot to get up from two main situations that we considered: a) lying face up and b) lying face down, both tested on flat, deformable, slippery surfaces and slopes (e.g., sloppy grass and snowfield). To the best of our knowledge, this is the first successful demonstration of learned getting-up policies for human-sized humanoid robots in the real world. Project page: https://humanoid-getup.github.io/