RoboCook: Manipolazione di Oggetti Elasto-Plastici a Lungo Orizzonte con Strumenti Diversificati

RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with Diverse Tools

June 26, 2023

Autori: Haochen Shi, Huazhe Xu, Samuel Clarke, Yunzhu Li, Jiajun Wu

cs.AI

Abstract

Gli esseri umani eccellono in complessi compiti di manipolazione a lungo termine di corpi molli attraverso l'uso flessibile di strumenti: la preparazione del pane richiede un coltello per tagliare l'impasto e un mattarello per appiattirlo. Spesso considerato un segno distintivo della cognizione umana, l'uso di strumenti nei robot autonomi rimane limitato a causa delle difficoltà nella comprensione delle interazioni strumento-oggetto. Qui sviluppiamo un sistema robotico intelligente, RoboCook, che percepisce, modella e manipola oggetti elasto-plastici con vari strumenti. RoboCook utilizza rappresentazioni della scena basate su nuvole di punti, modella le interazioni strumento-oggetto con Reti Neurali a Grafo (GNN) e combina la classificazione degli strumenti con l'apprendimento di politiche auto-supervisionato per ideare piani di manipolazione. Dimostriamo che, partendo da soli 20 minuti di dati di interazione nel mondo reale per strumento, un braccio robotico generico può apprendere complessi compiti di manipolazione a lungo termine di oggetti molli, come la preparazione di gnocchi e biscotti a forma di lettere dell'alfabeto. Valutazioni estensive mostrano che RoboCook supera significativamente gli approcci all'avanguardia, dimostra robustezza contro gravi disturbi esterni e mostra adattabilità a diversi materiali.

English

Humans excel in complex long-horizon soft body manipulation tasks via flexible tool use: bread baking requires a knife to slice the dough and a rolling pin to flatten it. Often regarded as a hallmark of human cognition, tool use in autonomous robots remains limited due to challenges in understanding tool-object interactions. Here we develop an intelligent robotic system, RoboCook, which perceives, models, and manipulates elasto-plastic objects with various tools. RoboCook uses point cloud scene representations, models tool-object interactions with Graph Neural Networks (GNNs), and combines tool classification with self-supervised policy learning to devise manipulation plans. We demonstrate that from just 20 minutes of real-world interaction data per tool, a general-purpose robot arm can learn complex long-horizon soft object manipulation tasks, such as making dumplings and alphabet letter cookies. Extensive evaluations show that RoboCook substantially outperforms state-of-the-art approaches, exhibits robustness against severe external disturbances, and demonstrates adaptability to different materials.