BiGym: 데모 기반 모바일 양손 조작 벤치마크

BiGym: A Demo-Driven Mobile Bi-Manual Manipulation Benchmark

July 10, 2024

저자: Nikita Chernyadev, Nicholas Backshall, Xiao Ma, Yunfan Lu, Younggyo Seo, Stephen James

cs.AI

초록

우리는 모바일 양손 로봇 조작을 위한 새로운 벤치마크 및 학습 환경인 BiGym을 소개합니다. BiGym은 가정 환경에서 설정된 40가지 다양한 작업을 포함하며, 단순한 목표 도달에서 복잡한 주방 청소까지 다양한 난이도를 다룹니다. 실제 세계의 성능을 정확하게 반영하기 위해, 각 작업에 대해 인간이 수집한 데모를 제공하며, 이는 실제 로봇 궤적에서 발견되는 다양한 양상을 반영합니다. BiGym은 고유수용성 데이터와 RGB, 깊이 정보 등 3개의 카메라 뷰에서의 시각적 입력을 포함한 다양한 관측을 지원합니다. BiGym의 유용성을 검증하기 위해, 우리는 환경 내에서 최신의 모방 학습 알고리즘과 데모 기반 강화 학습 알고리즘을 철저히 벤치마크하고, 향후 기회에 대해 논의합니다.

English

We introduce BiGym, a new benchmark and learning environment for mobile bi-manual demo-driven robotic manipulation. BiGym features 40 diverse tasks set in home environments, ranging from simple target reaching to complex kitchen cleaning. To capture the real-world performance accurately, we provide human-collected demonstrations for each task, reflecting the diverse modalities found in real-world robot trajectories. BiGym supports a variety of observations, including proprioceptive data and visual inputs such as RGB, and depth from 3 camera views. To validate the usability of BiGym, we thoroughly benchmark the state-of-the-art imitation learning algorithms and demo-driven reinforcement learning algorithms within the environment and discuss the future opportunities.