VP-VLA: Визуальные подсказки как интерфейс для моделей «зрение-язык-действие»
VP-VLA: Visual Prompting as an Interface for Vision-Language-Action Models
March 23, 2026
Авторы: Zixuan Wang, Yuxin Chen, Yuqi Liu, Jinhui Ye, Pengguang Chen, Changsheng Lu, Shu Liu, Jiaya Jia
cs.AI
Аннотация
Модели «Vision-Language-Action» (VLA) обычно преобразуют визуальные наблюдения и языковые инструкции напрямую в сигналы управления роботом. Такое «чернокобоксичное» отображение заставляет единый прямой проход одновременно выполнять интерпретацию инструкций, пространственную привязку и низкоуровневое управление, что часто приводит к низкой пространственной точности и ограниченной устойчивости в сценариях, выходящих за пределы распределения обучающих данных. Для преодоления этих ограничений мы предлагаем VP-VLA — двухсистемную архитектуру, которая разделяет высокоуровневые рассуждения и низкоуровневое исполнение с помощью структурированного интерфейса визуальных подсказок. А именно, «Планировщик Системы 2» декомпозирует сложные инструкции на подзадачи и идентифицирует соответствующие целевые объекты и местоположения целей. Эти пространственные якоря затем накладываются непосредственно на визуальные наблюдения в виде структурированных визуальных подсказок, таких как прицельные маркеры и ограничивающие рамки. Руководствуясь этими подсказками и усиливаясь за счет новой вспомогательной задачи визуального заземления в процессе обучения, «Контроллер Системы 1» надежно генерирует точные низкоуровневые исполнительные движения. Эксперименты на бенчмарке Robocasa-GR1-Tabletop и в симуляции SimplerEnv демонстрируют, что VP-VLA повышает процент успешного выполнения на 5% и 8.3%, превосходя конкурентоспособные базовые методы, включая QwenOFT и GR00T-N1.6.
English
Vision-Language-Action (VLA) models typically map visual observations and linguistic instructions directly to robotic control signals. This "black-box" mapping forces a single forward pass to simultaneously handle instruction interpretation, spatial grounding, and low-level control, often leading to poor spatial precision and limited robustness in out-of-distribution scenarios. To address these limitations, we propose VP-VLA, a dual-system framework that decouples high-level reasoning and low-level execution via a structured visual prompting interface. Specifically, a "System 2 Planner" decomposes complex instructions into sub-tasks and identifies relevant target objects and goal locations. These spatial anchors are then overlaid directly onto visual observations as structured visual prompts, such as crosshairs and bounding boxes. Guided by these prompts and enhanced by a novel auxiliary visual grounding objective during training, a "System 1 Controller" reliably generates precise low-level execution motions. Experiments on the Robocasa-GR1-Tabletop benchmark and SimplerEnv simulation demonstrate that VP-VLA improves success rates by 5% and 8.3%, surpassing competitive baselines including QwenOFT and GR00T-N1.6.