現実世界のヒューマノイドロボットのための起き上がりポリシーの学習

Learning Getting-Up Policies for Real-World Humanoid Robots

February 17, 2025

著者: Xialin He, Runpei Dong, Zixuan Chen, Saurabh Gupta

cs.AI

要旨

ヒューマノイドロボットが信頼性を持って展開される前に、自動転倒回復は重要な前提条件です。転倒後にヒューマノイドがどのような構成になるか、およびヒューマノイドロボットが運用されることが期待される困難な地形のため、起き上がるためのコントローラを手動で設計することは困難です。本論文では、ヒューマノイドロボットが異なる構成や地形から起き上がるためのコントローラを生成するための学習フレームワークを開発します。従来のヒューマノイドの運動学習の成功事例とは異なり、起き上がるタスクには複雑な接触パターンが関与するため、衝突ジオメトリの正確なモデリングと報酬の希薄化が必要です。私たちは、これらの課題に取り組むために、カリキュラムに従う2段階アプローチを通じて対処します。最初の段階では、滑らかさや速度/トルク制限に最小の制約を設けた状態で、適切な起き上がり軌道を発見することに焦点を当てます。次に、2段階目では、初期構成や地形の変動に強い（すなわち、滑らかで遅い）動作に洗練された発見された動作を展開します。これらの革新により、実世界のG1ヒューマノイドロボットが、私たちが考慮した主要な2つの状況から起き上がることが可能になりました：a）仰向けになっている状況、およびb）うつ伏せになっている状況。これらは、平坦な変形可能な滑りやすい表面や斜面（例：傾斜した草地や雪原）でテストされました。私たちの知る限り、これは現実世界で人間サイズのヒューマノイドロボットのための学習された起き上がりポリシーの初の成功したデモンストレーションです。プロジェクトページ：https://humanoid-getup.github.io/

English

Automatic fall recovery is a crucial prerequisite before humanoid robots can be reliably deployed. Hand-designing controllers for getting up is difficult because of the varied configurations a humanoid can end up in after a fall and the challenging terrains humanoid robots are expected to operate on. This paper develops a learning framework to produce controllers that enable humanoid robots to get up from varying configurations on varying terrains. Unlike previous successful applications of humanoid locomotion learning, the getting-up task involves complex contact patterns, which necessitates accurately modeling the collision geometry and sparser rewards. We address these challenges through a two-phase approach that follows a curriculum. The first stage focuses on discovering a good getting-up trajectory under minimal constraints on smoothness or speed / torque limits. The second stage then refines the discovered motions into deployable (i.e. smooth and slow) motions that are robust to variations in initial configuration and terrains. We find these innovations enable a real-world G1 humanoid robot to get up from two main situations that we considered: a) lying face up and b) lying face down, both tested on flat, deformable, slippery surfaces and slopes (e.g., sloppy grass and snowfield). To the best of our knowledge, this is the first successful demonstration of learned getting-up policies for human-sized humanoid robots in the real world. Project page: https://humanoid-getup.github.io/