Aprendendo a Agarrar Qualquer Coisa Brincando com Brinquedos Aleatórios

Learning to Grasp Anything by Playing with Random Toys

October 14, 2025

Autores: Dantong Niu, Yuvan Sharma, Baifeng Shi, Rachel Ding, Matteo Gioia, Haoru Xue, Henry Tsai, Konstantinos Kallidromitis, Anirudh Pai, Shankar Shastry, Trevor Darrell, Jitendra Malik, Roei Herzig

cs.AI

Resumo

Políticas de manipulação robótica frequentemente enfrentam dificuldades para generalizar para objetos novos, limitando sua utilidade no mundo real. Em contraste, a ciência cognitiva sugere que crianças desenvolvem habilidades de manipulação destreza generalizáveis ao dominar um pequeno conjunto de brinquedos simples e, em seguida, aplicar esse conhecimento a itens mais complexos. Inspirados por isso, investigamos se capacidades de generalização semelhantes também podem ser alcançadas por robôs. Nossos resultados indicam que robôs podem aprender a agarrar de forma generalizável usando objetos montados aleatoriamente que são compostos por apenas quatro primitivas de forma: esferas, cuboides, cilindros e anéis. Demonstramos que o treinamento nesses "brinquedos" permite uma generalização robusta para objetos do mundo real, resultando em um forte desempenho zero-shot. Crucialmente, descobrimos que a chave para essa generalização é uma representação visual centrada no objeto induzida pelo nosso mecanismo proposto de pooling de detecção. Avaliado tanto em simulação quanto em robôs físicos, nosso modelo alcança uma taxa de sucesso de 67% em agarramentos no mundo real no conjunto de dados YCB, superando abordagens state-of-the-art que dependem de dados substancialmente mais específicos do domínio. Estudamos ainda como o desempenho de generalização zero-shot escala ao variar o número e a diversidade de brinquedos de treinamento e as demonstrações por brinquedo. Acreditamos que este trabalho oferece um caminho promissor para o aprendizado escalável e generalizável em manipulação robótica. Vídeos de demonstração, código, checkpoints e nosso conjunto de dados estão disponíveis em nossa página do projeto: https://lego-grasp.github.io/.

English

Robotic manipulation policies often struggle to generalize to novel objects, limiting their real-world utility. In contrast, cognitive science suggests that children develop generalizable dexterous manipulation skills by mastering a small set of simple toys and then applying that knowledge to more complex items. Inspired by this, we study if similar generalization capabilities can also be achieved by robots. Our results indicate robots can learn generalizable grasping using randomly assembled objects that are composed from just four shape primitives: spheres, cuboids, cylinders, and rings. We show that training on these "toys" enables robust generalization to real-world objects, yielding strong zero-shot performance. Crucially, we find the key to this generalization is an object-centric visual representation induced by our proposed detection pooling mechanism. Evaluated in both simulation and on physical robots, our model achieves a 67% real-world grasping success rate on the YCB dataset, outperforming state-of-the-art approaches that rely on substantially more in-domain data. We further study how zero-shot generalization performance scales by varying the number and diversity of training toys and the demonstrations per toy. We believe this work offers a promising path to scalable and generalizable learning in robotic manipulation. Demonstration videos, code, checkpoints and our dataset are available on our project page: https://lego-grasp.github.io/ .