シミュレートされたヒューマノイドによる多様な物体の把持

Grasping Diverse Objects with Simulated Humanoids

July 16, 2024

著者: Zhengyi Luo, Jinkun Cao, Sammy Christen, Alexander Winkler, Kris Kitani, Weipeng Xu

cs.AI

要旨

シミュレーションされたヒューマノイドを制御して物体を把持し、物体軌道に沿って移動させる手法を提案します。器用な手を持つヒューマノイドの制御における課題から、従来の手法ではしばしば手のみを独立させ、垂直方向の持ち上げや短い軌道のみを考慮していました。この限定的な範囲は、アニメーションやシミュレーションに必要な物体操作の適用性を妨げています。このギャップを埋めるため、我々は多数（1200以上）の物体を拾い上げ、ランダムに生成された軌道に沿って運ぶことができるコントローラを学習します。我々の重要な洞察は、人間のような運動スキルを提供し、訓練を大幅に高速化するヒューマノイドの運動表現を活用することです。単純な報酬、状態、および物体表現のみを使用して、我々の手法は多様な物体と軌道において良好なスケーラビリティを示します。訓練において、全身運動と物体軌道のペアになったデータセットは必要ありません。テスト時には、物体のメッシュと把持・運搬のための望ましい軌道のみを必要とします。我々の手法の能力を実証するため、物体軌道の追従と未見の物体への一般化において、最先端の成功率を示します。コードとモデルは公開予定です。

English

We present a method for controlling a simulated humanoid to grasp an object and move it to follow an object trajectory. Due to the challenges in controlling a humanoid with dexterous hands, prior methods often use a disembodied hand and only consider vertical lifts or short trajectories. This limited scope hampers their applicability for object manipulation required for animation and simulation. To close this gap, we learn a controller that can pick up a large number (>1200) of objects and carry them to follow randomly generated trajectories. Our key insight is to leverage a humanoid motion representation that provides human-like motor skills and significantly speeds up training. Using only simplistic reward, state, and object representations, our method shows favorable scalability on diverse object and trajectories. For training, we do not need dataset of paired full-body motion and object trajectories. At test time, we only require the object mesh and desired trajectories for grasping and transporting. To demonstrate the capabilities of our method, we show state-of-the-art success rates in following object trajectories and generalizing to unseen objects. Code and models will be released.