MOSAIC: 보조 및 인터랙티브 요리를 위한 모듈형 시스템

MOSAIC: A Modular System for Assistive and Interactive Cooking

February 29, 2024

저자: Huaxiaoyue Wang, Kushal Kedia, Juntao Ren, Rahma Abdullah, Atiksh Bhardwaj, Angela Chao, Kelly Y Chen, Nathaniel Chin, Prithwish Dan, Xinyi Fan, Gonzalo Gonzalez-Pumariega, Aditya Kompella, Maximus Adrian Pace, Yash Sharma, Xiangwan Sun, Neha Sunkara, Sanjiban Choudhury

cs.AI

초록

우리는 일상 사용자와 함께 요리하기와 같은 복잡한 협업 작업을 수행하기 위한 모듈형 홈 로봇 아키텍처인 MOSAIC을 소개한다. MOSAIC은 인간과 긴밀히 협력하며, 자연어를 사용하여 사용자와 상호작용하고, 다중 로봇을 조율하며, 일상적인 물체에 대한 개방형 어휘를 관리한다. MOSAIC의 핵심은 모듈성에 있다: 언어 및 이미지 인식과 같은 일반적인 작업을 위해 대규모 사전 훈련된 모델을 활용하는 동시에, 작업 특화 제어를 위해 설계된 간소화된 모듈을 사용한다. 우리는 두 대의 로봇이 인간 사용자와 협력하여 6가지 레시피 조합을 요리하는 60회의 종단 간 시험을 통해 MOSAIC을 광범위하게 평가했다. 또한, 180회의 시각운동적 물체 집기, 60회의 인간 동작 예측, 그리고 작업 계획기에 대한 46회의 온라인 사용자 평가를 통해 개별 모듈을 철저히 테스트했다. 우리는 MOSAIC이 실제 인간 사용자와 함께 전체 시스템을 종단 간으로 실행함으로써 효율적으로 협력할 수 있음을 보여주었으며, 6가지 다른 레시피에 대한 68.3%(41/60)의 협업 요리 시험을 완료하고, 하위 작업 완료율은 91.6%를 달성했다. 마지막으로, 현재 시스템의 한계와 이 분야에서의 흥미로운 미해결 과제에 대해 논의한다. 프로젝트 웹사이트는 https://portal-cornell.github.io/MOSAIC/에서 확인할 수 있다.

English

We present MOSAIC, a modular architecture for home robots to perform complex collaborative tasks, such as cooking with everyday users. MOSAIC tightly collaborates with humans, interacts with users using natural language, coordinates multiple robots, and manages an open vocabulary of everyday objects. At its core, MOSAIC employs modularity: it leverages multiple large-scale pre-trained models for general tasks like language and image recognition, while using streamlined modules designed for task-specific control. We extensively evaluate MOSAIC on 60 end-to-end trials where two robots collaborate with a human user to cook a combination of 6 recipes. We also extensively test individual modules with 180 episodes of visuomotor picking, 60 episodes of human motion forecasting, and 46 online user evaluations of the task planner. We show that MOSAIC is able to efficiently collaborate with humans by running the overall system end-to-end with a real human user, completing 68.3% (41/60) collaborative cooking trials of 6 different recipes with a subtask completion rate of 91.6%. Finally, we discuss the limitations of the current system and exciting open challenges in this domain. The project's website is at https://portal-cornell.github.io/MOSAIC/