GroundingPI: 시각적 프리미티브를 활용한 물리적 지능을 향한 그라운딩 파운데이션 모델

초록

정밀한 그라운딩은 중요하다. 이는 잡동사니가 많은 환경이나 아주 작은 객체에 대해서도 어떤 객체가 대상인지, 그 객체가 어디에 있는지를 명시하며, 폐루프 제어에 충분할 만큼 빨라야 한다. 그러나 시각-언어-행동(VLA) 모델과 월드-행동 모델(WAM)은 범용 시각-언어 및 비디오 생성 백본에서 지각을 가져오며, 이러한 백본은 여전히 이런 설정에서 실패한다. 우리는 점과 박스를 공유 어휘 내 양자화된 좌표로 생성하는 4B 그라운딩 파운데이션 모델 GroundingPI를 소개한다. 학습은 멀티모달 및 공간 사전 학습, 지도 미세 조정, GRPO를 사용한 강화 학습을 결합하며, 공개 데이터셋과 전용 데이터 엔진으로부터의 감독을 활용한다. 11개 지각 능력을 아우르는 34개 그라운딩 벤치마크에서 44개 베이스라인과 비교해, GroundingPI는 평균 73.68%로 새로운 최첨단을 수립하며, 더 큰 GPT-6 Astra(71.54%)를 상회한다. 다운스트림 시각 백본으로서 GroundingPI는 로봇 조작과 자율 주행 성능을 향상시킨다. RoboTwin 2.0에서 GroundingPI는 우리가 평가한 모든 주류 백본을 네 가지 분포 외 설정 모두에서 능가하며, 가장 강력한 백본 대비 최대 24.8% 향상된다. RoboCasa-GR1에서 데모의 50%로 학습된 GroundingPI는 75%로 학습된 해당 베이스라인들을 능가한다. nuScenes에서 시각 백본으로 사용될 때, GroundingPI는 평균 개루프 L2 오차 0.296m를 달성한다. 우리는 GroundingPI의 사전 학습을 규모와 데이터 구성 측면에서 체계적으로 분석한다. 사전 학습 규모를 키울수록 다운스트림 자율 주행과 로봇 조작 성능이 향상된다. 이 11개 지각 능력 전반에 걸친 데이터 레시피를 분석한 결과, 덴스 그라운딩이 두 과제 모두에 상당한 이점을 주며, OCR이 지각 학습의 촉매로서 잠재력을 지님을 보여준다. 이러한 결과는 그라운딩이 지각의 기반이 될 수 있음을 뒷받침하며, 전용 지각 사전 학습이 물리적 지능의 파운데이션 모델을 위한 유망한 방향임을 시사한다.

English

Precise grounding matters. It specifies which object is the target and where that object is, even in clutter and for tiny objects, and it has to be fast enough for closed-loop control. Yet vision-language-action (VLA) and world-action models (WAMs) take perception from general-purpose vision-language and video-generation backbones, which still fail in these settings. We introduce GroundingPI, a 4B grounding foundation model that generates points and boxes as quantized coordinates in a shared vocabulary. Training combines multimodal and spatial pretraining, supervised fine-tuning, and reinforcement learning with GRPO, using supervision from public datasets and dedicated data engines. Against 44 baselines across 34 grounding benchmarks spanning 11 perceptual capabilities, GroundingPI establishes a new state of the art, averaging 73.68%, above the larger GPT-6 Astra (71.54%). As a downstream visual backbone, GroundingPI improves performance on robotic manipulation and autonomous driving. On RoboTwin 2.0, it outperforms every mainstream backbone we evaluate in all four out-of-distribution settings, by up to 24.8% relative to the strongest backbone. On RoboCasa-GR1, GroundingPI trained with 50% of the demonstrations outperforms those baselines trained with 75%. On nuScenes, used as the visual backbone, GroundingPI attains an average open-loop L2 error of 0.296 m. We systematically analyze GroundingPI's pretraining in scale and data composition. Downstream autonomous driving and robotic manipulation improve as the pretraining is scaled. Analyzing the data recipe across these 11 perceptual capabilities shows dense grounding's substantial benefits for both, and OCR's potential as a catalyst for perceptual learning. These results support grounding as a perceptual foundation, and dedicated perceptual pretraining as a promising direction for foundation models of physical intelligence.

GroundingPI: 시각적 프리미티브를 활용한 물리적 지능을 향한 그라운딩 파운데이션 모델

GroundingPI: A Grounding Foundation Model towards Physical Intelligence with Visual Primitives

초록

Support