MOSAIC : Un système modulaire pour la cuisine assistée et interactive

papers.abstract

Nous présentons MOSAIC, une architecture modulaire pour les robots domestiques permettant d'exécuter des tâches collaboratives complexes, telles que la cuisine avec des utilisateurs quotidiens. MOSAIC collabore étroitement avec les humains, interagit avec les utilisateurs en langage naturel, coordonne plusieurs robots et gère un vocabulaire ouvert d'objets du quotidien. Au cœur de MOSAIC se trouve la modularité : elle exploite plusieurs modèles pré-entraînés à grande échelle pour des tâches générales comme la reconnaissance du langage et des images, tout en utilisant des modules simplifiés conçus pour le contrôle spécifique à chaque tâche. Nous évaluons de manière approfondie MOSAIC sur 60 essais de bout en bout où deux robots collaborent avec un utilisateur humain pour cuisiner une combinaison de 6 recettes. Nous testons également de manière extensive les modules individuels avec 180 épisodes de préhension visuomotrice, 60 épisodes de prévision des mouvements humains et 46 évaluations en ligne des utilisateurs sur le planificateur de tâches. Nous montrons que MOSAIC est capable de collaborer efficacement avec les humains en exécutant l'ensemble du système de bout en bout avec un utilisateur humain réel, complétant 68,3 % (41/60) des essais de cuisine collaborative pour 6 recettes différentes, avec un taux de réussite des sous-tâches de 91,6 %. Enfin, nous discutons des limites du système actuel et des défis passionnants dans ce domaine. Le site web du projet est accessible à l'adresse suivante : https://portal-cornell.github.io/MOSAIC/

English

We present MOSAIC, a modular architecture for home robots to perform complex collaborative tasks, such as cooking with everyday users. MOSAIC tightly collaborates with humans, interacts with users using natural language, coordinates multiple robots, and manages an open vocabulary of everyday objects. At its core, MOSAIC employs modularity: it leverages multiple large-scale pre-trained models for general tasks like language and image recognition, while using streamlined modules designed for task-specific control. We extensively evaluate MOSAIC on 60 end-to-end trials where two robots collaborate with a human user to cook a combination of 6 recipes. We also extensively test individual modules with 180 episodes of visuomotor picking, 60 episodes of human motion forecasting, and 46 online user evaluations of the task planner. We show that MOSAIC is able to efficiently collaborate with humans by running the overall system end-to-end with a real human user, completing 68.3% (41/60) collaborative cooking trials of 6 different recipes with a subtask completion rate of 91.6%. Finally, we discuss the limitations of the current system and exciting open challenges in this domain. The project's website is at https://portal-cornell.github.io/MOSAIC/

MOSAIC : Un système modulaire pour la cuisine assistée et interactive

MOSAIC: A Modular System for Assistive and Interactive Cooking

papers.abstract

Support