RoboCook: 다양한 도구를 활용한 장기간 탄소성 물체 조작

초록

인간은 유연한 도구 사용을 통해 복잡하고 장기적인 소프트 바디 조작 작업에서 탁월한 능력을 발휘합니다: 빵을 굽기 위해서는 반죽을 자르는 칼과 반죽을 펴는 밀대가 필요합니다. 인간 인지의 특징으로 여겨지는 도구 사용은, 도구와 물체 간 상호작용을 이해하는 데 어려움이 있어 자율 로봇에서는 여전히 제한적입니다. 본 연구에서는 다양한 도구를 사용하여 탄소성 물체를 인지, 모델링, 조작하는 지능형 로봇 시스템인 RoboCook을 개발했습니다. RoboCook은 포인트 클라우드 장면 표현을 사용하고, 그래프 신경망(GNN)을 통해 도구-물체 상호작용을 모델링하며, 도구 분류와 자기 지도 정책 학습을 결합하여 조작 계획을 수립합니다. 우리는 도구당 단 20분의 실제 상호작용 데이터만으로도 범용 로봇 암이 만두 만들기와 알파벳 쿠키 만들기와 같은 복잡한 장기적 소프트 물체 조작 작업을 학습할 수 있음을 보여줍니다. 광범위한 평가를 통해 RoboCook이 최첨단 접근법을 크게 능가하며, 심각한 외부 방해에 대해 견고성을 보이고, 다양한 재료에 대한 적응력을 보여줌을 입증했습니다.

English

Humans excel in complex long-horizon soft body manipulation tasks via flexible tool use: bread baking requires a knife to slice the dough and a rolling pin to flatten it. Often regarded as a hallmark of human cognition, tool use in autonomous robots remains limited due to challenges in understanding tool-object interactions. Here we develop an intelligent robotic system, RoboCook, which perceives, models, and manipulates elasto-plastic objects with various tools. RoboCook uses point cloud scene representations, models tool-object interactions with Graph Neural Networks (GNNs), and combines tool classification with self-supervised policy learning to devise manipulation plans. We demonstrate that from just 20 minutes of real-world interaction data per tool, a general-purpose robot arm can learn complex long-horizon soft object manipulation tasks, such as making dumplings and alphabet letter cookies. Extensive evaluations show that RoboCook substantially outperforms state-of-the-art approaches, exhibits robustness against severe external disturbances, and demonstrates adaptability to different materials.

RoboCook: 다양한 도구를 활용한 장기간 탄소성 물체 조작

RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with Diverse Tools

초록

Support