SeededGrasp: 복잡한 장면에서 다중 구현체를 위한 언어 기반 그리핑

초록

복잡한 장면에서의 실용적인 로봇 파지는 3차원 공간 추론과 작업별 요구사항에의 정렬을 모두 필요로 한다. 시각-언어 모델(VLM)은 언어를 사용하여 이러한 요구사항을 명시하는 자연스러운 방법을 제공하지만, 기존 접근법은 제한된 공간 인식만으로 파지를 직접 예측하기 위해 VLM을 사용하거나, 파지 모델과 함께 VLM을 학습시켜 훨씬 더 많은 데이터와 계산을 요구한다. 이러한 한계는 성능을 저해하고 복잡한 장면에서 다중 체현으로의 확장을 방해해 왔다. 우리는 이 문제를 해결하기 위해 SeededGrasp를 제안한다. 이는 VLM이 시드 포인트를 예측하여 이후의 경량 파지 생성 모델의 조건으로 사용할 수 있게 하는 새로운 데이터 효율적 프레임워크이다. 우리의 아키텍처는 고수준 의미 추론과 저수준 기하 실행을 분리하여, 비용이 많이 드는 엔드-투-엔드 학습의 필요성을 우회하면서 다중 체현 지원을 가능하게 한다. 이러한 모델의 학습을 지원하기 위해, 우리는 혼잡한 장면에서 250만 개 이상의 파지를 포함하는 최초의 다중 체현 탁상 파지 데이터셋을 공개한다. 실험 결과는 우리의 접근법이 기존 기준 모델보다 우수하여 시뮬레이션에서 72%, 실제 세계 파지 실험에서 78%의 성공률을 달성함을 보여준다. 데이터와 코드는 프로젝트 사이트를 참조하십시오: https://uoft-isl.github.io/seeded-grasp/

English

Practical robotic grasping in complex scenes requires both 3D spatial reasoning and alignment with task-specific requirements. Vision-language models (VLMs) offer a natural way to specify these requirements using language, but existing approaches either use a VLM to predict the grasp directly with limited spatial awareness, or train the VLM together with the grasping model, which requires significantly more data and compute. These limitations impede performance and have prevented scaling to multiple embodiments in complex scenes. We address this by proposing SeededGrasp, a novel data-efficient framework that enables a VLM to predict a seed point to be used as conditioning for a subsequent lightweight grasp-generation model. Our architecture decouples high-level semantic reasoning from low-level geometric execution, enabling multi-embodiment support while bypassing the need for expensive end-to-end training. To enable training such models, we release the first multi-embodiment tabletop grasping dataset comprising over 2.5M grasps in cluttered scenes. Experimental results demonstrate that our approach outperforms existing baselines, achieving 72% success in simulation and 78% in real-world grasping experiments. See our project site for data and code: https://uoft-isl.github.io/seeded-grasp/