RoboCook: Manipulatie van Elasto-Plastische Objecten op Lange Termijn met Diverse Gereedschappen

RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with Diverse Tools

June 26, 2023

Auteurs: Haochen Shi, Huazhe Xu, Samuel Clarke, Yunzhu Li, Jiajun Wu

cs.AI

Samenvatting

Mensen blinken uit in complexe, langetermijnmanipulatietaken van zachte materialen door flexibel gebruik van gereedschap: bij het bakken van brood is een mes nodig om het deeg te snijden en een deegroller om het plat te maken. Hoewel het gebruik van gereedschap vaak wordt gezien als een kenmerk van menselijke cognitie, blijft het bij autonome robots beperkt vanwege uitdagingen in het begrijpen van interacties tussen gereedschap en objecten. Hier ontwikkelen we een intelligent robotsysteem, RoboCook, dat elastisch-plastische objecten waarneemt, modelleert en manipuleert met diverse gereedschappen. RoboCook maakt gebruik van pointcloud-scène-representaties, modelleert gereedschap-objectinteracties met Graph Neural Networks (GNN's), en combineert gereedschapsclassificatie met zelfgesuperviseerd beleidsleren om manipulatieplannen te ontwerpen. We demonstreren dat een universele robotarm, met slechts 20 minuten aan real-world interactiedata per gereedschap, complexe langetermijnmanipulatietaken van zachte objecten kan leren, zoals het maken van dumplings en letterkoekjes. Uitgebreide evaluaties tonen aan dat RoboCook aanzienlijk beter presteert dan state-of-the-art benaderingen, robuustheid vertoont tegen ernstige externe verstoringen, en aanpassingsvermogen toont aan verschillende materialen.

English

Humans excel in complex long-horizon soft body manipulation tasks via flexible tool use: bread baking requires a knife to slice the dough and a rolling pin to flatten it. Often regarded as a hallmark of human cognition, tool use in autonomous robots remains limited due to challenges in understanding tool-object interactions. Here we develop an intelligent robotic system, RoboCook, which perceives, models, and manipulates elasto-plastic objects with various tools. RoboCook uses point cloud scene representations, models tool-object interactions with Graph Neural Networks (GNNs), and combines tool classification with self-supervised policy learning to devise manipulation plans. We demonstrate that from just 20 minutes of real-world interaction data per tool, a general-purpose robot arm can learn complex long-horizon soft object manipulation tasks, such as making dumplings and alphabet letter cookies. Extensive evaluations show that RoboCook substantially outperforms state-of-the-art approaches, exhibits robustness against severe external disturbances, and demonstrates adaptability to different materials.