RoboCook: 多様なツールを用いた長期的弾塑性物体操作

要旨

人間は柔軟な道具の使用を通じて、複雑で長期的な軟体物操作タスクに優れている。例えば、パン作りでは生地を切るための包丁や、平らにするための麺棒が必要となる。人間の認知能力の特徴とされる道具の使用は、自律ロボットにおいては、道具と物体の相互作用を理解する難しさから、まだ限定的である。ここでは、弾塑性物体を様々な道具で認識、モデル化、操作する知的ロボットシステム「RoboCook」を開発した。RoboCookは点群シーン表現を使用し、グラフニューラルネットワーク（GNN）を用いて道具と物体の相互作用をモデル化し、道具分類と自己教師ありポリシー学習を組み合わせて操作計画を立案する。各道具につきわずか20分間の実世界相互作用データから、汎用ロボットアームが餃子作りやアルファベット文字クッキー作りといった複雑で長期的な軟体物操作タスクを学習できることを実証した。広範な評価により、RoboCookが最先端のアプローチを大幅に上回り、深刻な外部擾乱に対する頑健性を示し、異なる材料への適応性を発揮することが明らかとなった。

English

Humans excel in complex long-horizon soft body manipulation tasks via flexible tool use: bread baking requires a knife to slice the dough and a rolling pin to flatten it. Often regarded as a hallmark of human cognition, tool use in autonomous robots remains limited due to challenges in understanding tool-object interactions. Here we develop an intelligent robotic system, RoboCook, which perceives, models, and manipulates elasto-plastic objects with various tools. RoboCook uses point cloud scene representations, models tool-object interactions with Graph Neural Networks (GNNs), and combines tool classification with self-supervised policy learning to devise manipulation plans. We demonstrate that from just 20 minutes of real-world interaction data per tool, a general-purpose robot arm can learn complex long-horizon soft object manipulation tasks, such as making dumplings and alphabet letter cookies. Extensive evaluations show that RoboCook substantially outperforms state-of-the-art approaches, exhibits robustness against severe external disturbances, and demonstrates adaptability to different materials.

RoboCook: 多様なツールを用いた長期的弾塑性物体操作

RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with Diverse Tools

要旨

Support