개방형 환경에서 관절형 물체를 위한 적응형 모바일 매니퓰레이션
Adaptive Mobile Manipulation for Articulated Objects In the Open World
January 25, 2024
저자: Haoyu Xiong, Russell Mendonca, Kenneth Shaw, Deepak Pathak
cs.AI
초록
가정과 같은 개방적이고 비정형적인 환경에 로봇을 배치하는 것은 오랫동안 연구되어 온 문제입니다. 그러나 로봇은 종종 폐쇄된 실험실 환경에서만 연구되며, 기존의 모바일 매니퓰레이션 작업은 피크-이동-배치에 국한되어 있어 이 분야의 빙산의 일각에 불과하다고 할 수 있습니다. 본 논문에서는 개방적이고 비정형적인 환경에서 현실적인 관절형 물체(예: 실제 문, 캐비닛, 서랍, 냉장고)를 조작하기 위한 전체적인 접근 방식인 Open-World Mobile Manipulation System을 소개합니다. 이 로봇은 적응형 학습 프레임워크를 활용하여 초기에는 소량의 데이터를 통해 행동 복제(behavior cloning)로 학습한 후, 훈련 분포를 벗어나는 새로운 물체에 대한 온라인 실습을 통해 학습합니다. 또한, 약 20,000달러의 비용으로 비정형 환경에서 안전하고 자율적인 온라인 적응이 가능한 저비용 모바일 매니퓰레이션 하드웨어 플랫폼을 개발했습니다. 실험에서는 CMU 캠퍼스 내 4개 건물에 걸쳐 20개의 관절형 물체를 사용했습니다. 각 물체에 대해 1시간 미만의 온라인 학습을 통해 시스템은 BC 사전 훈련의 50% 성공률에서 온라인 적응을 통해 95%로 성공률을 높일 수 있었습니다. 비디오 결과는 https://open-world-mobilemanip.github.io/에서 확인할 수 있습니다.
English
Deploying robots in open-ended unstructured environments such as homes has
been a long-standing research problem. However, robots are often studied only
in closed-off lab settings, and prior mobile manipulation work is restricted to
pick-move-place, which is arguably just the tip of the iceberg in this area. In
this paper, we introduce Open-World Mobile Manipulation System, a full-stack
approach to tackle realistic articulated object operation, e.g. real-world
doors, cabinets, drawers, and refrigerators in open-ended unstructured
environments. The robot utilizes an adaptive learning framework to initially
learns from a small set of data through behavior cloning, followed by learning
from online practice on novel objects that fall outside the training
distribution. We also develop a low-cost mobile manipulation hardware platform
capable of safe and autonomous online adaptation in unstructured environments
with a cost of around 20,000 USD. In our experiments we utilize 20 articulate
objects across 4 buildings in the CMU campus. With less than an hour of online
learning for each object, the system is able to increase success rate from 50%
of BC pre-training to 95% using online adaptation. Video results at
https://open-world-mobilemanip.github.io/