RoboCook: Langfristige Manipulation elasto-plastischer Objekte mit vielfältigen Werkzeugen

RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with Diverse Tools

June 26, 2023

Autoren: Haochen Shi, Huazhe Xu, Samuel Clarke, Yunzhu Li, Jiajun Wu

cs.AI

Zusammenfassung

Menschen übertreffen in komplexen Langzeit-Manipulationsaufgaben mit weichen Materialien durch flexiblen Werkzeugeinsatz: Beim Brotbacken wird ein Messer benötigt, um den Teig zu schneiden, und ein Nudelholz, um ihn flach zu drücken. Oft als Kennzeichen menschlicher Kognition betrachtet, bleibt der Werkzeugeinsatz bei autonomen Robotern aufgrund der Herausforderungen beim Verständnis von Werkzeug-Objekt-Interaktionen begrenzt. Hier entwickeln wir ein intelligentes Robotersystem, RoboCook, das elastoplastische Objekte mit verschiedenen Werkzeugen wahrnimmt, modelliert und manipuliert. RoboCook verwendet Punktwolken-Szenendarstellungen, modelliert Werkzeug-Objekt-Interaktionen mit Graph Neural Networks (GNNs) und kombiniert Werkzeugklassifizierung mit selbstüberwachtem Policy-Learning, um Manipulationspläne zu erstellen. Wir zeigen, dass ein universeller Roboterarm aus nur 20 Minuten realer Interaktionsdaten pro Werkzeug komplexe Langzeit-Manipulationsaufgaben mit weichen Objekten erlernen kann, wie z.B. die Herstellung von Teigtaschen und Buchstabenkeksen. Umfangreiche Auswertungen zeigen, dass RoboCook state-of-the-art Ansätze deutlich übertrifft, Robustheit gegen starke externe Störungen aufweist und Anpassungsfähigkeit an verschiedene Materialien demonstriert.

English

Humans excel in complex long-horizon soft body manipulation tasks via flexible tool use: bread baking requires a knife to slice the dough and a rolling pin to flatten it. Often regarded as a hallmark of human cognition, tool use in autonomous robots remains limited due to challenges in understanding tool-object interactions. Here we develop an intelligent robotic system, RoboCook, which perceives, models, and manipulates elasto-plastic objects with various tools. RoboCook uses point cloud scene representations, models tool-object interactions with Graph Neural Networks (GNNs), and combines tool classification with self-supervised policy learning to devise manipulation plans. We demonstrate that from just 20 minutes of real-world interaction data per tool, a general-purpose robot arm can learn complex long-horizon soft object manipulation tasks, such as making dumplings and alphabet letter cookies. Extensive evaluations show that RoboCook substantially outperforms state-of-the-art approaches, exhibits robustness against severe external disturbances, and demonstrates adaptability to different materials.