BiGym: Демонстрационный мобильный бенчмарк двуручного манипулирования

BiGym: A Demo-Driven Mobile Bi-Manual Manipulation Benchmark

July 10, 2024

Авторы: Nikita Chernyadev, Nicholas Backshall, Xiao Ma, Yunfan Lu, Younggyo Seo, Stephen James

cs.AI

Аннотация

Мы представляем BiGym, новый стандарт и среду обучения для мобильной биманипуляционной робототехники, управляемой демонстрациями. BiGym включает 40 разнообразных задач, выполненных в домашних условиях, начиная от простого достижения цели до сложной уборки на кухне. Для точного отражения производительности в реальном мире мы предоставляем демонстрации, собранные у людей, для каждой задачи, отражающие разнообразные модальности, присущие траекториям реальных роботов. BiGym поддерживает различные виды наблюдений, включая проприоцептивные данные и визуальные входы, такие как RGB и данные глубины из трех камер. Для проверки применимости BiGym мы тщательно тестируем передовые алгоритмы имитационного обучения и алгоритмы обучения с подкреплением, управляемые демонстрациями, в данной среде и обсуждаем перспективы для будущих исследований.

English

We introduce BiGym, a new benchmark and learning environment for mobile bi-manual demo-driven robotic manipulation. BiGym features 40 diverse tasks set in home environments, ranging from simple target reaching to complex kitchen cleaning. To capture the real-world performance accurately, we provide human-collected demonstrations for each task, reflecting the diverse modalities found in real-world robot trajectories. BiGym supports a variety of observations, including proprioceptive data and visual inputs such as RGB, and depth from 3 camera views. To validate the usability of BiGym, we thoroughly benchmark the state-of-the-art imitation learning algorithms and demo-driven reinforcement learning algorithms within the environment and discuss the future opportunities.