시뮬레이션된 휴머노이드를 이용한 다양한 물체 파지

Grasping Diverse Objects with Simulated Humanoids

July 16, 2024

저자: Zhengyi Luo, Jinkun Cao, Sammy Christen, Alexander Winkler, Kris Kitani, Weipeng Xu

cs.AI

초록

우리는 시뮬레이션된 휴머노이드가 물체를 잡고 물체 궤적을 따라 이동하도록 제어하는 방법을 제안합니다. 민첩한 손을 가진 휴머노이드를 제어하는 데 있어서의 어려움으로 인해, 기존 방법들은 종종 손만 분리하여 사용하고 수직 리프트나 짧은 궤적만을 고려했습니다. 이러한 제한된 범위는 애니메이션과 시뮬레이션에 필요한 물체 조작의 적용 가능성을 저해합니다. 이러한 격차를 해소하기 위해, 우리는 1200개 이상의 다양한 물체를 집어들어 무작위로 생성된 궤적을 따라 운반할 수 있는 제어기를 학습합니다. 우리의 핵심 통찰은 인간과 유사한 운동 능력을 제공하며 학습 속도를 크게 향상시키는 휴머노이드 동작 표현을 활용하는 것입니다. 단순화된 보상, 상태, 그리고 물체 표현만을 사용하여, 우리의 방법은 다양한 물체와 궤적에서 유리한 확장성을 보여줍니다. 학습을 위해, 우리는 전체 신체 동작과 물체 궤적이 짝지어진 데이터셋이 필요하지 않습니다. 테스트 시에는 물체 메시와 잡고 운반하기 위한 원하는 궤적만 필요합니다. 우리 방법의 능력을 입증하기 위해, 물체 궤적을 따르는 데 있어서 최첨단 성공률과 보지 못한 물체에 대한 일반화 능력을 보여줍니다. 코드와 모델은 공개될 예정입니다.

English

We present a method for controlling a simulated humanoid to grasp an object and move it to follow an object trajectory. Due to the challenges in controlling a humanoid with dexterous hands, prior methods often use a disembodied hand and only consider vertical lifts or short trajectories. This limited scope hampers their applicability for object manipulation required for animation and simulation. To close this gap, we learn a controller that can pick up a large number (>1200) of objects and carry them to follow randomly generated trajectories. Our key insight is to leverage a humanoid motion representation that provides human-like motor skills and significantly speeds up training. Using only simplistic reward, state, and object representations, our method shows favorable scalability on diverse object and trajectories. For training, we do not need dataset of paired full-body motion and object trajectories. At test time, we only require the object mesh and desired trajectories for grasping and transporting. To demonstrate the capabilities of our method, we show state-of-the-art success rates in following object trajectories and generalizing to unseen objects. Code and models will be released.