SeededGrasp: 複数の身体性を持つ複雑なシーンにおける言語誘導把持

要旨

複雑なシーンにおける実用的なロボット把持には、3次元空間認識とタスク固有の要件への整合性の両方が必要となる。視覚言語モデル（VLM）は、言語を用いてこれらの要件を指定する自然な方法を提供するが、既存のアプローチでは、空間認識が限られた状態でVLMを直接把持予測に利用するか、またはVLMを把持モデルと共に訓練するかのいずれかであり、後者ではかなりのデータと計算資源を要する。これらの制約は性能を阻害し、複雑なシーンにおける複数の身体性へのスケーリングを妨げてきた。本稿ではこの問題に対処するため、SeededGraspを提案する。これは、VLMがシード点を予測し、その後の軽量な把持生成モデルの条件付けとして利用することを可能にする、データ効率の高い新規フレームワークである。本アーキテクチャは高レベルの意味推論と低レベルの幾何学的実行を分離し、高コストなエンドツーエンド訓練を回避しながら複数の身体性への対応を実現する。このようなモデルの訓練を可能にするため、我々は乱雑なシーンにおける250万以上の把持を含む、初のマルチエンボディメント卓上把持データセットを公開する。実験結果は、本手法が既存のベースラインを凌駕し、シミュレーションで72%、実世界の把持実験で78%の成功率を達成することを示している。データとコードについてはプロジェクトサイト（https://uoft-isl.github.io/seeded-grasp/）を参照されたい。

English

Practical robotic grasping in complex scenes requires both 3D spatial reasoning and alignment with task-specific requirements. Vision-language models (VLMs) offer a natural way to specify these requirements using language, but existing approaches either use a VLM to predict the grasp directly with limited spatial awareness, or train the VLM together with the grasping model, which requires significantly more data and compute. These limitations impede performance and have prevented scaling to multiple embodiments in complex scenes. We address this by proposing SeededGrasp, a novel data-efficient framework that enables a VLM to predict a seed point to be used as conditioning for a subsequent lightweight grasp-generation model. Our architecture decouples high-level semantic reasoning from low-level geometric execution, enabling multi-embodiment support while bypassing the need for expensive end-to-end training. To enable training such models, we release the first multi-embodiment tabletop grasping dataset comprising over 2.5M grasps in cluttered scenes. Experimental results demonstrate that our approach outperforms existing baselines, achieving 72% success in simulation and 78% in real-world grasping experiments. See our project site for data and code: https://uoft-isl.github.io/seeded-grasp/