무작위 장난감 놀이를 통해 모든 것을 잡는 법 배우기

Learning to Grasp Anything by Playing with Random Toys

October 14, 2025

저자: Dantong Niu, Yuvan Sharma, Baifeng Shi, Rachel Ding, Matteo Gioia, Haoru Xue, Henry Tsai, Konstantinos Kallidromitis, Anirudh Pai, Shankar Shastry, Trevor Darrell, Jitendra Malik, Roei Herzig

cs.AI

초록

로봇 조작 정책은 종종 새로운 물체에 일반화하는 데 어려움을 겪어 실제 세계에서의 유용성이 제한됩니다. 반면, 인지 과학 연구에 따르면 어린이들은 소수의 간단한 장난감을 숙달한 후 그 지식을 더 복잡한 물체에 적용함으로써 일반화 가능한 세밀한 조작 기술을 개발합니다. 이에 영감을 받아, 우리는 로봇도 유사한 일반화 능력을 달성할 수 있는지 연구했습니다. 우리의 결과는 로봇이 구체, 직육면체, 원통, 링과 같은 단 네 가지 기본 형태로 구성된 무작위 조립 물체를 사용하여 일반화 가능한 파지(grasping)를 학습할 수 있음을 보여줍니다. 이러한 "장난감"에 대한 훈련이 실제 물체에 대한 강력한 일반화를 가능하게 하며, 제로샷(zero-shot) 성능을 크게 향상시킨다는 것을 입증했습니다. 특히, 이 일반화의 핵심은 우리가 제안한 탐지 풀링(detection pooling) 메커니즘에 의해 유도된 물체 중심 시각 표현임을 발견했습니다. 시뮬레이션과 실제 로봇에서 평가된 우리의 모델은 YCB 데이터셋에서 67%의 실제 파지 성공률을 달성하며, 훨씬 더 많은 도메인 내 데이터에 의존하는 최신 접근법을 능가했습니다. 또한, 훈련 장난감의 수와 다양성, 그리고 장난감당 시연 횟수를 변화시켜 제로샷 일반화 성능이 어떻게 확장되는지 추가로 연구했습니다. 우리는 이 작업이 로봇 조작에서 확장 가능하고 일반화 가능한 학습을 위한 유망한 길을 제시한다고 믿습니다. 데모 비디오, 코드, 체크포인트 및 데이터셋은 프로젝트 페이지(https://lego-grasp.github.io/)에서 확인할 수 있습니다.

English

Robotic manipulation policies often struggle to generalize to novel objects, limiting their real-world utility. In contrast, cognitive science suggests that children develop generalizable dexterous manipulation skills by mastering a small set of simple toys and then applying that knowledge to more complex items. Inspired by this, we study if similar generalization capabilities can also be achieved by robots. Our results indicate robots can learn generalizable grasping using randomly assembled objects that are composed from just four shape primitives: spheres, cuboids, cylinders, and rings. We show that training on these "toys" enables robust generalization to real-world objects, yielding strong zero-shot performance. Crucially, we find the key to this generalization is an object-centric visual representation induced by our proposed detection pooling mechanism. Evaluated in both simulation and on physical robots, our model achieves a 67% real-world grasping success rate on the YCB dataset, outperforming state-of-the-art approaches that rely on substantially more in-domain data. We further study how zero-shot generalization performance scales by varying the number and diversity of training toys and the demonstrations per toy. We believe this work offers a promising path to scalable and generalizable learning in robotic manipulation. Demonstration videos, code, checkpoints and our dataset are available on our project page: https://lego-grasp.github.io/ .