모바일 알로하: 저비용 전신 원격 조작을 통한 양손 모바일 조작 학습

초록

인간의 시연을 모방한 학습은 로봇 공학에서 인상적인 성능을 보여주고 있다. 그러나 대부분의 결과는 테이블 위 조작에 초점을 맞추고 있어, 일반적으로 유용한 작업을 수행하기 위해 필요한 이동성과 민첩성이 부족하다. 본 연구에서는 양손을 사용하며 전신 제어가 필요한 이동 조작 작업을 모방하기 위한 시스템을 개발한다. 먼저, 데이터 수집을 위한 저비용 전신 원격 조작 시스템인 Mobile ALOHA를 소개한다. 이 시스템은 ALOHA 시스템에 이동 베이스와 전신 원격 조작 인터페이스를 추가한 것이다. Mobile ALOHA로 수집한 데이터를 사용하여 지도 행동 복제를 수행하고, 기존의 정적 ALOHA 데이터셋과의 공동 학습이 이동 조작 작업의 성능을 향상시킨다는 것을 발견했다. 각 작업에 대해 50번의 시연 데이터를 사용한 공동 학습은 성공률을 최대 90%까지 높일 수 있으며, 이를 통해 Mobile ALOHA는 새우를 볶아 서빙하거나, 두 개의 문이 있는 벽장을 열어 무거운 요리 냄비를 보관하거나, 엘리베이터를 호출하고 탑승하거나, 주방 수도꼭지를 사용해 사용한 팬을 가볍게 헹구는 등 복잡한 이동 조작 작업을 자율적으로 완료할 수 있다. 프로젝트 웹사이트: https://mobile-aloha.github.io

English

Imitation learning from human demonstrations has shown impressive performance in robotics. However, most results focus on table-top manipulation, lacking the mobility and dexterity necessary for generally useful tasks. In this work, we develop a system for imitating mobile manipulation tasks that are bimanual and require whole-body control. We first present Mobile ALOHA, a low-cost and whole-body teleoperation system for data collection. It augments the ALOHA system with a mobile base, and a whole-body teleoperation interface. Using data collected with Mobile ALOHA, we then perform supervised behavior cloning and find that co-training with existing static ALOHA datasets boosts performance on mobile manipulation tasks. With 50 demonstrations for each task, co-training can increase success rates by up to 90%, allowing Mobile ALOHA to autonomously complete complex mobile manipulation tasks such as sauteing and serving a piece of shrimp, opening a two-door wall cabinet to store heavy cooking pots, calling and entering an elevator, and lightly rinsing a used pan using a kitchen faucet. Project website: https://mobile-aloha.github.io

모바일 알로하: 저비용 전신 원격 조작을 통한 양손 모바일 조작 학습

Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation

초록

Support