VP-VLA: Visuele Prompting als Interface voor Vision-Language-Action Modellen
VP-VLA: Visual Prompting as an Interface for Vision-Language-Action Models
March 23, 2026
Auteurs: Zixuan Wang, Yuxin Chen, Yuqi Liu, Jinhui Ye, Pengguang Chen, Changsheng Lu, Shu Liu, Jiaya Jia
cs.AI
Samenvatting
Vision-Language-Action (VLA)-modellen vertalen visuele observaties en taalinstructies doorgaans direct naar robotbesturingssignalen. Deze "black-box"-benadering dwingt een enkele voorwaartse doorloop om tegelijkertijd instructie-interpretatie, ruimtelijke verankering en laag-niveau besturing af te handelen, wat vaak leidt tot slechte ruimtelijke precisie en beperkte robuustheid in out-of-distribution scenario's. Om deze beperkingen aan te pakken, stellen we VP-VLA voor, een dual-system raamwerk dat hoog-niveau redeneren en laag-niveau uitvoering ontkoppelt via een gestructureerde visuele prompt-interface. Concreet deconstrueert een "Systeem 2 Planner" complexe instructies in sub-taken en identificeert relevante doelobjecten en eindposities. Deze ruimtelijke ankers worden vervolgens direct over de visuele observaties heen gelegd als gestructureerde visuele prompts, zoals richtkruizen en selectiekaders. Geleid door deze prompts en versterkt door een nieuwe aanvullende visuele verankeringsdoelstelling tijdens de training, genereert een "Systeem 1 Controller" betrouwbaar precieze laag-niveau uitvoeringsbewegingen. Experimenten op de Robocasa-GR1-Tabletop benchmark en SimplerEnv-simulatie tonen aan dat VP-VLA de slagingspercentages met respectievelijk 5% en 8,3% verbetert, waarmee het competitieve baseline-modellen zoals QwenOFT en GR00T-N1.6 overtreft.
English
Vision-Language-Action (VLA) models typically map visual observations and linguistic instructions directly to robotic control signals. This "black-box" mapping forces a single forward pass to simultaneously handle instruction interpretation, spatial grounding, and low-level control, often leading to poor spatial precision and limited robustness in out-of-distribution scenarios. To address these limitations, we propose VP-VLA, a dual-system framework that decouples high-level reasoning and low-level execution via a structured visual prompting interface. Specifically, a "System 2 Planner" decomposes complex instructions into sub-tasks and identifies relevant target objects and goal locations. These spatial anchors are then overlaid directly onto visual observations as structured visual prompts, such as crosshairs and bounding boxes. Guided by these prompts and enhanced by a novel auxiliary visual grounding objective during training, a "System 1 Controller" reliably generates precise low-level execution motions. Experiments on the Robocasa-GR1-Tabletop benchmark and SimplerEnv simulation demonstrate that VP-VLA improves success rates by 5% and 8.3%, surpassing competitive baselines including QwenOFT and GR00T-N1.6.