Apprendre à saisir n'importe quoi en jouant avec des jouets aléatoires

papers.abstract

Les politiques de manipulation robotique peinent souvent à généraliser leur application à des objets nouveaux, limitant ainsi leur utilité dans le monde réel. En revanche, les sciences cognitives suggèrent que les enfants développent des compétences de manipulation habile et généralisables en maîtrisant un petit ensemble de jouets simples, puis en appliquant ces connaissances à des objets plus complexes. Inspirés par cela, nous étudions si des capacités de généralisation similaires peuvent également être atteintes par des robots. Nos résultats indiquent que les robots peuvent apprendre à saisir de manière généralisable en utilisant des objets assemblés aléatoirement à partir de seulement quatre primitives de forme : des sphères, des cuboïdes, des cylindres et des anneaux. Nous montrons que l'entraînement sur ces "jouets" permet une généralisation robuste à des objets réels, offrant ainsi des performances solides en zéro-shot. De manière cruciale, nous constatons que la clé de cette généralisation réside dans une représentation visuelle centrée sur l'objet, induite par notre mécanisme de détection par regroupement proposé. Évalué à la fois en simulation et sur des robots physiques, notre modèle atteint un taux de réussite de 67 % pour la saisie dans le monde réel sur le jeu de données YCB, surpassant les approches de pointe qui reposent sur des données intra-domaines nettement plus importantes. Nous étudions également comment les performances de généralisation en zéro-shot évoluent en fonction du nombre et de la diversité des jouets d'entraînement, ainsi que du nombre de démonstrations par jouet. Nous pensons que ce travail ouvre une voie prometteuse vers un apprentissage scalable et généralisable en manipulation robotique. Les vidéos de démonstration, le code, les points de contrôle et notre jeu de données sont disponibles sur notre page de projet : https://lego-grasp.github.io/.

English

Robotic manipulation policies often struggle to generalize to novel objects, limiting their real-world utility. In contrast, cognitive science suggests that children develop generalizable dexterous manipulation skills by mastering a small set of simple toys and then applying that knowledge to more complex items. Inspired by this, we study if similar generalization capabilities can also be achieved by robots. Our results indicate robots can learn generalizable grasping using randomly assembled objects that are composed from just four shape primitives: spheres, cuboids, cylinders, and rings. We show that training on these "toys" enables robust generalization to real-world objects, yielding strong zero-shot performance. Crucially, we find the key to this generalization is an object-centric visual representation induced by our proposed detection pooling mechanism. Evaluated in both simulation and on physical robots, our model achieves a 67% real-world grasping success rate on the YCB dataset, outperforming state-of-the-art approaches that rely on substantially more in-domain data. We further study how zero-shot generalization performance scales by varying the number and diversity of training toys and the demonstrations per toy. We believe this work offers a promising path to scalable and generalizable learning in robotic manipulation. Demonstration videos, code, checkpoints and our dataset are available on our project page: https://lego-grasp.github.io/ .

Apprendre à saisir n'importe quoi en jouant avec des jouets aléatoires

Learning to Grasp Anything by Playing with Random Toys

papers.abstract

Support