Imparare ad afferrare qualsiasi cosa giocando con giocattoli casuali

Learning to Grasp Anything by Playing with Random Toys

October 14, 2025

Autori: Dantong Niu, Yuvan Sharma, Baifeng Shi, Rachel Ding, Matteo Gioia, Haoru Xue, Henry Tsai, Konstantinos Kallidromitis, Anirudh Pai, Shankar Shastry, Trevor Darrell, Jitendra Malik, Roei Herzig

cs.AI

Abstract

Le politiche di manipolazione robotica spesso faticano a generalizzare su oggetti nuovi, limitando la loro utilità nel mondo reale. Al contrario, le scienze cognitive suggeriscono che i bambini sviluppano abilità di manipolazione destrezza generalizzabili padroneggiando un piccolo insieme di giocattoli semplici e poi applicando tale conoscenza a oggetti più complessi. Ispirati da ciò, studiamo se capacità di generalizzazione simili possano essere raggiunte anche dai robot. I nostri risultati indicano che i robot possono apprendere una presa generalizzabile utilizzando oggetti assemblati casualmente composti da soli quattro primitivi di forma: sfere, cuboidi, cilindri e anelli. Mostriamo che l'addestramento su questi "giocattoli" consente una robusta generalizzazione su oggetti del mondo reale, ottenendo prestazioni zero-shot solide. Fondamentalmente, scopriamo che la chiave di questa generalizzazione è una rappresentazione visiva centrata sull'oggetto indotta dal nostro meccanismo di pooling di rilevamento proposto. Valutato sia in simulazione che su robot fisici, il nostro modello raggiunge un tasso di successo nella presa del 67% sul dataset YCB, superando approcci all'avanguardia che si basano su una quantità sostanzialmente maggiore di dati in dominio. Studiamo inoltre come le prestazioni di generalizzazione zero-shot si ridimensionano variando il numero e la diversità dei giocattoli di addestramento e le dimostrazioni per giocattolo. Crediamo che questo lavoro offra un percorso promettente verso un apprendimento scalabile e generalizzabile nella manipolazione robotica. Video dimostrativi, codice, checkpoint e il nostro dataset sono disponibili sulla pagina del progetto: https://lego-grasp.github.io/.

English

Robotic manipulation policies often struggle to generalize to novel objects, limiting their real-world utility. In contrast, cognitive science suggests that children develop generalizable dexterous manipulation skills by mastering a small set of simple toys and then applying that knowledge to more complex items. Inspired by this, we study if similar generalization capabilities can also be achieved by robots. Our results indicate robots can learn generalizable grasping using randomly assembled objects that are composed from just four shape primitives: spheres, cuboids, cylinders, and rings. We show that training on these "toys" enables robust generalization to real-world objects, yielding strong zero-shot performance. Crucially, we find the key to this generalization is an object-centric visual representation induced by our proposed detection pooling mechanism. Evaluated in both simulation and on physical robots, our model achieves a 67% real-world grasping success rate on the YCB dataset, outperforming state-of-the-art approaches that rely on substantially more in-domain data. We further study how zero-shot generalization performance scales by varying the number and diversity of training toys and the demonstrations per toy. We believe this work offers a promising path to scalable and generalizable learning in robotic manipulation. Demonstration videos, code, checkpoints and our dataset are available on our project page: https://lego-grasp.github.io/ .