Обучение захвату любых объектов через взаимодействие со случайными игрушками

Learning to Grasp Anything by Playing with Random Toys

October 14, 2025

Авторы: Dantong Niu, Yuvan Sharma, Baifeng Shi, Rachel Ding, Matteo Gioia, Haoru Xue, Henry Tsai, Konstantinos Kallidromitis, Anirudh Pai, Shankar Shastry, Trevor Darrell, Jitendra Malik, Roei Herzig

cs.AI

Аннотация

Политики роботизированного манипулирования часто сталкиваются с трудностями в обобщении на новые объекты, что ограничивает их практическую применимость. В то же время когнитивная наука указывает на то, что дети развивают обобщаемые навыки ловкого манипулирования, осваивая небольшой набор простых игрушек и затем применяя эти знания к более сложным предметам. Вдохновленные этим, мы исследуем, могут ли роботы достичь аналогичных способностей к обобщению. Наши результаты показывают, что роботы могут обучаться обобщаемому захвату, используя случайно собранные объекты, состоящие всего из четырех примитивных форм: сфер, параллелепипедов, цилиндров и колец. Мы демонстрируем, что обучение на таких "игрушках" позволяет достичь устойчивого обобщения на реальные объекты, обеспечивая высокую производительность в условиях нулевого сходства. Ключевым фактором такого обобщения является объектно-ориентированное визуальное представление, индуцированное предложенным нами механизмом пулинга детекции. Оцененная как в симуляции, так и на физических роботах, наша модель достигает 67% успешности захвата на наборе данных YCB, превосходя современные подходы, которые полагаются на значительно большее количество данных из целевой области. Мы также исследуем, как производительность обобщения в условиях нулевого сходства масштабируется при изменении количества и разнообразия обучающих игрушек, а также количества демонстраций на одну игрушку. Мы считаем, что эта работа открывает перспективный путь к масштабируемому и обобщаемому обучению в роботизированном манипулировании. Видео демонстраций, код, контрольные точки и наш набор данных доступны на странице проекта: https://lego-grasp.github.io/.

English

Robotic manipulation policies often struggle to generalize to novel objects, limiting their real-world utility. In contrast, cognitive science suggests that children develop generalizable dexterous manipulation skills by mastering a small set of simple toys and then applying that knowledge to more complex items. Inspired by this, we study if similar generalization capabilities can also be achieved by robots. Our results indicate robots can learn generalizable grasping using randomly assembled objects that are composed from just four shape primitives: spheres, cuboids, cylinders, and rings. We show that training on these "toys" enables robust generalization to real-world objects, yielding strong zero-shot performance. Crucially, we find the key to this generalization is an object-centric visual representation induced by our proposed detection pooling mechanism. Evaluated in both simulation and on physical robots, our model achieves a 67% real-world grasping success rate on the YCB dataset, outperforming state-of-the-art approaches that rely on substantially more in-domain data. We further study how zero-shot generalization performance scales by varying the number and diversity of training toys and the demonstrations per toy. We believe this work offers a promising path to scalable and generalizable learning in robotic manipulation. Demonstration videos, code, checkpoints and our dataset are available on our project page: https://lego-grasp.github.io/ .