O Que Fazer? Ensinando Modelos Visão-Linguagem-Ação a Rejeitar o Impossível

Do What? Teaching Vision-Language-Action Models to Reject the Impossible

August 22, 2025

Autores: Wen-Han Hsieh, Elvis Hsieh, Dantong Niu, Trevor Darrell, Roei Herzig, David M. Chan

cs.AI

Resumo

Recentemente, os modelos Visão-Linguagem-Ação (VLA) demonstraram um desempenho robusto em uma variedade de tarefas robóticas. Esses modelos dependem de entradas multimodais, com as instruções em linguagem natural desempenhando um papel crucial — não apenas na previsão de ações, mas também na interpretação robusta da intenção do usuário, mesmo quando as solicitações são impossíveis de serem cumpridas. Neste trabalho, investigamos como os VLAs podem reconhecer, interpretar e responder a instruções com premissas falsas: comandos em linguagem natural que fazem referência a objetos ou condições ausentes no ambiente. Propomos o framework unificado Instruir-Verificar-e-Agir (IVA), que (i) detecta quando uma instrução não pode ser executada devido a uma premissa falsa, (ii) engaja-se em esclarecimentos ou correções baseados em linguagem e (iii) fundamenta alternativas plausíveis na percepção e na ação. Para isso, construímos uma configuração de ajuste de instruções em larga escala com prompts de linguagem estruturados e treinamos um modelo VLA capaz de lidar tanto com solicitações precisas quanto com solicitações errôneas. Nossa abordagem aproveita um conjunto de dados semi-sintético contextualmente aumentado, contendo pares de instruções positivas e com premissas falsas, permitindo detecção robusta e correção em linguagem natural. Nossos experimentos mostram que o IVA melhora a precisão na detecção de premissas falsas em 97,56% em relação às baselines, enquanto aumenta as respostas bem-sucedidas em cenários de premissas falsas em 50,78%.

English

Recently, Vision-Language-Action (VLA) models have demonstrated strong performance on a range of robotic tasks. These models rely on multimodal inputs, with language instructions playing a crucial role -- not only in predicting actions, but also in robustly interpreting user intent, even when the requests are impossible to fulfill. In this work, we investigate how VLAs can recognize, interpret, and respond to false-premise instructions: natural language commands that reference objects or conditions absent from the environment. We propose Instruct-Verify-and-Act (IVA), a unified framework that (i) detects when an instruction cannot be executed due to a false premise, (ii) engages in language-based clarification or correction, and (iii) grounds plausible alternatives in perception and action. Towards this end, we construct a large-scale instruction tuning setup with structured language prompts and train a VLA model capable of handling both accurate and erroneous requests. Our approach leverages a contextually augmented, semi-synthetic dataset containing paired positive and false-premise instructions, enabling robust detection and natural language correction. Our experiments show that IVA improves false premise detection accuracy by 97.56% over baselines, while increasing successful responses in false-premise scenarios by 50.78%.