GroundingPI：視覚プリミティブを備えた、フィジカルインテリジェンスに向けたグラウンディング基盤モデル

要旨

精密なグラウンディングは重要である。それは、雑然とした環境であっても、また微小物体であっても、どの物体が対象であり、その物体がどこにあるのかを特定し、さらに閉ループ制御に間に合う十分な速度を備えなければならない。しかし、視覚言語行動（VLA）モデルやワールドアクションモデル（WAM）は、汎用の視覚言語および動画生成バックボーンから知覚を流用しており、それらのバックボーンはこうした設定では依然として失敗する。我々は、点とボックスを共有語彙における量子化座標として生成する 4B のグラウンディング基盤モデル GroundingPI を導入する。訓練は、マルチモーダルおよび空間事前学習、教師ありファインチューニング、GRPO を用いた強化学習を組み合わせ、公開データセットと専用データエンジンから得られる監督信号を利用する。11 の知覚能力にまたがる 34 のグラウンディングベンチマークにおいて 44 のベースラインを相手に、GroundingPI は新たな最先端を確立し、平均 73.68% を達成して、より大規模な GPT-6 Astra（71.54%）を上回る。下流の視覚バックボーンとして、GroundingPI はロボット操作と自動運転の性能を向上させる。RoboTwin 2.0 では、評価したすべての主流バックボーンを 4 つすべての分布外設定で上回り、最強のバックボーンと比較して最大 24.8% の改善を示す。RoboCasa-GR1 では、デモンストレーションの 50% で訓練した GroundingPI が、75% で訓練したそれらのベースラインを上回る。nuScenes では、視覚バックボーンとして用いた場合、GroundingPI は平均オープンループ L2 誤差 0.296 m を達成する。我々は GroundingPI の事前学習を規模とデータ構成の観点から系統的に分析する。事前学習の規模を拡大するにつれて、下流の自動運転とロボット操作が改善する。これら 11 の知覚能力にわたるデータレシピを分析すると、密なグラウンディングが両者に多大な利益をもたらすこと、および OCR が知覚学習の触媒となる可能性を秘めていることが示される。これらの結果は、グラウンディングが知覚の基盤となること、および専用の知覚事前学習がフィジカルインテリジェンスの基盤モデルに向けた有望な方向であることを支持する。

English

Precise grounding matters. It specifies which object is the target and where that object is, even in clutter and for tiny objects, and it has to be fast enough for closed-loop control. Yet vision-language-action (VLA) and world-action models (WAMs) take perception from general-purpose vision-language and video-generation backbones, which still fail in these settings. We introduce GroundingPI, a 4B grounding foundation model that generates points and boxes as quantized coordinates in a shared vocabulary. Training combines multimodal and spatial pretraining, supervised fine-tuning, and reinforcement learning with GRPO, using supervision from public datasets and dedicated data engines. Against 44 baselines across 34 grounding benchmarks spanning 11 perceptual capabilities, GroundingPI establishes a new state of the art, averaging 73.68%, above the larger GPT-6 Astra (71.54%). As a downstream visual backbone, GroundingPI improves performance on robotic manipulation and autonomous driving. On RoboTwin 2.0, it outperforms every mainstream backbone we evaluate in all four out-of-distribution settings, by up to 24.8% relative to the strongest backbone. On RoboCasa-GR1, GroundingPI trained with 50% of the demonstrations outperforms those baselines trained with 75%. On nuScenes, used as the visual backbone, GroundingPI attains an average open-loop L2 error of 0.296 m. We systematically analyze GroundingPI's pretraining in scale and data composition. Downstream autonomous driving and robotic manipulation improve as the pretraining is scaled. Analyzing the data recipe across these 11 perceptual capabilities shows dense grounding's substantial benefits for both, and OCR's potential as a catalyst for perceptual learning. These results support grounding as a perceptual foundation, and dedicated perceptual pretraining as a promising direction for foundation models of physical intelligence.

GroundingPI：視覚プリミティブを備えた、フィジカルインテリジェンスに向けたグラウンディング基盤モデル

GroundingPI: A Grounding Foundation Model towards Physical Intelligence with Visual Primitives

要旨

Support