RoboCook : Manipulation d'objets élasto-plastiques sur le long terme avec des outils diversifiés

RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with Diverse Tools

June 26, 2023

Auteurs: Haochen Shi, Huazhe Xu, Samuel Clarke, Yunzhu Li, Jiajun Wu

cs.AI

Résumé

Les humains excellent dans les tâches complexes de manipulation à long terme d'objets mous grâce à l'utilisation flexible d'outils : la fabrication du pain nécessite un couteau pour découper la pâte et un rouleau pour l'aplatir. Souvent considérée comme une marque de la cognition humaine, l'utilisation d'outils par des robots autonomes reste limitée en raison des défis liés à la compréhension des interactions entre outils et objets. Nous développons ici un système robotique intelligent, RoboCook, qui perçoit, modélise et manipule des objets élasto-plastiques avec divers outils. RoboCook utilise des représentations de scènes par nuages de points, modélise les interactions outil-objet avec des réseaux de neurones graphiques (GNN), et combine la classification d'outils avec un apprentissage de politiques auto-supervisé pour concevoir des plans de manipulation. Nous démontrons qu'avec seulement 20 minutes de données d'interaction réelle par outil, un bras robotique polyvalent peut apprendre des tâches complexes de manipulation à long terme d'objets mous, comme la fabrication de raviolis ou de biscuits en forme de lettres. Des évaluations approfondies montrent que RoboCook surpasse largement les approches de pointe, fait preuve de robustesse face à des perturbations externes sévères, et démontre une adaptabilité à différents matériaux.

English

Humans excel in complex long-horizon soft body manipulation tasks via flexible tool use: bread baking requires a knife to slice the dough and a rolling pin to flatten it. Often regarded as a hallmark of human cognition, tool use in autonomous robots remains limited due to challenges in understanding tool-object interactions. Here we develop an intelligent robotic system, RoboCook, which perceives, models, and manipulates elasto-plastic objects with various tools. RoboCook uses point cloud scene representations, models tool-object interactions with Graph Neural Networks (GNNs), and combines tool classification with self-supervised policy learning to devise manipulation plans. We demonstrate that from just 20 minutes of real-world interaction data per tool, a general-purpose robot arm can learn complex long-horizon soft object manipulation tasks, such as making dumplings and alphabet letter cookies. Extensive evaluations show that RoboCook substantially outperforms state-of-the-art approaches, exhibits robustness against severe external disturbances, and demonstrates adaptability to different materials.