ランダムなおもちゃで遊びながら何でも掴むことを学ぶ

Learning to Grasp Anything by Playing with Random Toys

October 14, 2025

著者: Dantong Niu, Yuvan Sharma, Baifeng Shi, Rachel Ding, Matteo Gioia, Haoru Xue, Henry Tsai, Konstantinos Kallidromitis, Anirudh Pai, Shankar Shastry, Trevor Darrell, Jitendra Malik, Roei Herzig

cs.AI

要旨

ロボットの操作ポリシーは、新しい物体への汎化に苦戦することが多く、実世界での有用性が制限されている。一方、認知科学の研究によれば、子供たちは少数の単純なおもちゃを習得し、その知識をより複雑なアイテムに適用することで、汎用的な器用な操作スキルを発達させる。これに着想を得て、我々はロボットにおいても同様の汎化能力が達成可能かどうかを検討した。その結果、ロボットは、球体、直方体、円柱、リングという4つの形状プリミティブから構成されるランダムに組み立てられた物体を用いて、汎用的な把持を学習できることが示された。これらの「おもちゃ」で訓練することで、実世界の物体に対してロバストな汎化が可能となり、強力なゼロショット性能が得られることを示した。特に、この汎化の鍵となるのは、我々が提案する検出プーリングメカニズムによって誘導される物体中心の視覚表現であることが明らかになった。シミュレーションおよび物理ロボットでの評価において、我々のモデルはYCBデータセットで67%の実世界把持成功率を達成し、より多くのドメイン内データに依存する最先端のアプローチを上回った。さらに、訓練用おもちゃの数と多様性、およびおもちゃごとのデモンストレーション数を変化させることで、ゼロショット汎化性能がどのようにスケールするかを調査した。我々は、この研究がロボット操作におけるスケーラブルで汎用的な学習への有望な道を提供すると考えている。デモンストレーションビデオ、コード、チェックポイント、およびデータセットはプロジェクトページ（https://lego-grasp.github.io/）で公開されている。

English

Robotic manipulation policies often struggle to generalize to novel objects, limiting their real-world utility. In contrast, cognitive science suggests that children develop generalizable dexterous manipulation skills by mastering a small set of simple toys and then applying that knowledge to more complex items. Inspired by this, we study if similar generalization capabilities can also be achieved by robots. Our results indicate robots can learn generalizable grasping using randomly assembled objects that are composed from just four shape primitives: spheres, cuboids, cylinders, and rings. We show that training on these "toys" enables robust generalization to real-world objects, yielding strong zero-shot performance. Crucially, we find the key to this generalization is an object-centric visual representation induced by our proposed detection pooling mechanism. Evaluated in both simulation and on physical robots, our model achieves a 67% real-world grasping success rate on the YCB dataset, outperforming state-of-the-art approaches that rely on substantially more in-domain data. We further study how zero-shot generalization performance scales by varying the number and diversity of training toys and the demonstrations per toy. We believe this work offers a promising path to scalable and generalizable learning in robotic manipulation. Demonstration videos, code, checkpoints and our dataset are available on our project page: https://lego-grasp.github.io/ .