Leren om alles vast te grijpen door te spelen met willekeurig speelgoed

Learning to Grasp Anything by Playing with Random Toys

October 14, 2025

Auteurs: Dantong Niu, Yuvan Sharma, Baifeng Shi, Rachel Ding, Matteo Gioia, Haoru Xue, Henry Tsai, Konstantinos Kallidromitis, Anirudh Pai, Shankar Shastry, Trevor Darrell, Jitendra Malik, Roei Herzig

cs.AI

Samenvatting

Roboticamanipulatiebeleidsregels hebben vaak moeite met generaliseren naar nieuwe objecten, wat hun praktische bruikbaarheid beperkt. Cognitieve wetenschap suggereert daarentegen dat kinderen generaliseerbare behendige manipulatievaardigheden ontwikkelen door een kleine set eenvoudig speelgoed onder de knie te krijgen en die kennis vervolgens toe te passen op complexere items. Geïnspireerd door dit idee onderzoeken we of soortgelijke generalisatiecapaciteiten ook door robots kunnen worden bereikt. Onze resultaten geven aan dat robots generaliseerbaar grijpen kunnen leren met behulp van willekeurig samengestelde objecten die zijn opgebouwd uit slechts vier vormprimitieven: bollen, kubussen, cilinders en ringen. We laten zien dat training op dit "speelgoed" robuuste generalisatie naar echte objecten mogelijk maakt, wat resulteert in sterke zero-shot prestaties. Cruciaal is dat we ontdekken dat de sleutel tot deze generalisatie een objectgerichte visuele representatie is, geïnduceerd door ons voorgestelde detectiepoolingmechanisme. Geëvalueerd in zowel simulatie als op fysieke robots, behaalt ons model een 67% succespercentage in het grijpen van echte objecten in de YCB-dataset, wat state-of-the-art benaderingen overtreft die vertrouwen op aanzienlijk meer domeinspecifieke data. We bestuderen verder hoe zero-shot generalisatieprestaties schalen door het aantal en de diversiteit van trainingsspeelgoed en de demonstraties per stuk speelgoed te variëren. Wij geloven dat dit werk een veelbelovende weg biedt naar schaalbare en generaliseerbare leerprocessen in roboticamanipulatie. Demonstratievideo's, code, checkpoints en onze dataset zijn beschikbaar op onze projectpagina: https://lego-grasp.github.io/.

English

Robotic manipulation policies often struggle to generalize to novel objects, limiting their real-world utility. In contrast, cognitive science suggests that children develop generalizable dexterous manipulation skills by mastering a small set of simple toys and then applying that knowledge to more complex items. Inspired by this, we study if similar generalization capabilities can also be achieved by robots. Our results indicate robots can learn generalizable grasping using randomly assembled objects that are composed from just four shape primitives: spheres, cuboids, cylinders, and rings. We show that training on these "toys" enables robust generalization to real-world objects, yielding strong zero-shot performance. Crucially, we find the key to this generalization is an object-centric visual representation induced by our proposed detection pooling mechanism. Evaluated in both simulation and on physical robots, our model achieves a 67% real-world grasping success rate on the YCB dataset, outperforming state-of-the-art approaches that rely on substantially more in-domain data. We further study how zero-shot generalization performance scales by varying the number and diversity of training toys and the demonstrations per toy. We believe this work offers a promising path to scalable and generalizable learning in robotic manipulation. Demonstration videos, code, checkpoints and our dataset are available on our project page: https://lego-grasp.github.io/ .