VP-VLA: Prompt Visual como Interface para Modelos Visão-Linguagem-Ação
VP-VLA: Visual Prompting as an Interface for Vision-Language-Action Models
March 23, 2026
Autores: Zixuan Wang, Yuxin Chen, Yuqi Liu, Jinhui Ye, Pengguang Chen, Changsheng Lu, Shu Liu, Jiaya Jia
cs.AI
Resumo
Os modelos Visão-Linguagem-Ação (VLA) mapeiam tipicamente observações visuais e instruções linguísticas diretamente para sinais de controle robótico. Este mapeamento de "caixa preta" força uma única passagem direta a lidar simultaneamente com a interpretação de instruções, a ancoragem espacial e o controle de baixo nível, frequentemente resultando em baixa precisão espacial e robustez limitada em cenários fora da distribuição. Para enfrentar estas limitações, propomos o VP-VLA, uma estrutura de sistema dual que desacopla o raciocínio de alto nível e a execução de baixo nível através de uma interface estruturada de *prompting* visual. Especificamente, um "Planejador do Sistema 2" decompõe instruções complexas em subtarefas e identifica objetos-alvo relevantes e localizações de objetivo. Estas âncoras espaciais são então sobrepostas diretamente nas observações visuais como *prompts* visuais estruturados, como retículos e caixas delimitadoras. Guiado por estes *prompts* e aprimorado por um novo objetivo auxiliar de ancoragem visual durante o treinamento, um "Controlador do Sistema 1" gera de forma confiável movimentos de execução de baixo nível precisos. Experiências no benchmark Robocasa-GR1-Tabletop e na simulação SimplerEnv demonstram que o VP-VLA melhora as taxas de sucesso em 5% e 8,3%, superando linhas de base competitivas, incluindo QwenOFT e GR00T-N1.6.
English
Vision-Language-Action (VLA) models typically map visual observations and linguistic instructions directly to robotic control signals. This "black-box" mapping forces a single forward pass to simultaneously handle instruction interpretation, spatial grounding, and low-level control, often leading to poor spatial precision and limited robustness in out-of-distribution scenarios. To address these limitations, we propose VP-VLA, a dual-system framework that decouples high-level reasoning and low-level execution via a structured visual prompting interface. Specifically, a "System 2 Planner" decomposes complex instructions into sub-tasks and identifies relevant target objects and goal locations. These spatial anchors are then overlaid directly onto visual observations as structured visual prompts, such as crosshairs and bounding boxes. Guided by these prompts and enhanced by a novel auxiliary visual grounding objective during training, a "System 1 Controller" reliably generates precise low-level execution motions. Experiments on the Robocasa-GR1-Tabletop benchmark and SimplerEnv simulation demonstrate that VP-VLA improves success rates by 5% and 8.3%, surpassing competitive baselines including QwenOFT and GR00T-N1.6.