Faire quoi ? Enseigner aux modèles vision-langage-action à rejeter l'impossible

Do What? Teaching Vision-Language-Action Models to Reject the Impossible

August 22, 2025

papers.authors: Wen-Han Hsieh, Elvis Hsieh, Dantong Niu, Trevor Darrell, Roei Herzig, David M. Chan

cs.AI

papers.abstract

Récemment, les modèles Vision-Langage-Action (VLA) ont démontré des performances solides sur une gamme de tâches robotiques. Ces modèles s'appuient sur des entrées multimodales, où les instructions linguistiques jouent un rôle crucial — non seulement pour prédire les actions, mais aussi pour interpréter de manière robuste l'intention de l'utilisateur, même lorsque les demandes sont impossibles à satisfaire. Dans ce travail, nous étudions comment les VLA peuvent reconnaître, interpréter et répondre à des instructions fondées sur des prémisses fausses : des commandes en langage naturel qui font référence à des objets ou des conditions absents de l'environnement. Nous proposons Instruct-Verify-and-Act (IVA), un cadre unifié qui (i) détecte quand une instruction ne peut pas être exécutée en raison d'une prémisse fausse, (ii) engage une clarification ou une correction basée sur le langage, et (iii) ancre des alternatives plausibles dans la perception et l'action. À cette fin, nous construisons un dispositif d'ajustement d'instructions à grande échelle avec des invites linguistiques structurées et entraînons un modèle VLA capable de gérer à la fois des demandes précises et erronées. Notre approche exploite un ensemble de données semi-synthétiques contextuellement augmenté contenant des paires d'instructions positives et fondées sur des prémisses fausses, permettant une détection robuste et une correction en langage naturel. Nos expériences montrent qu'IVA améliore la précision de détection des prémisses fausses de 97,56 % par rapport aux modèles de référence, tout en augmentant les réponses réussies dans les scénarios de prémisses fausses de 50,78 %.

English

Recently, Vision-Language-Action (VLA) models have demonstrated strong performance on a range of robotic tasks. These models rely on multimodal inputs, with language instructions playing a crucial role -- not only in predicting actions, but also in robustly interpreting user intent, even when the requests are impossible to fulfill. In this work, we investigate how VLAs can recognize, interpret, and respond to false-premise instructions: natural language commands that reference objects or conditions absent from the environment. We propose Instruct-Verify-and-Act (IVA), a unified framework that (i) detects when an instruction cannot be executed due to a false premise, (ii) engages in language-based clarification or correction, and (iii) grounds plausible alternatives in perception and action. Towards this end, we construct a large-scale instruction tuning setup with structured language prompts and train a VLA model capable of handling both accurate and erroneous requests. Our approach leverages a contextually augmented, semi-synthetic dataset containing paired positive and false-premise instructions, enabling robust detection and natural language correction. Our experiments show that IVA improves false premise detection accuracy by 97.56% over baselines, while increasing successful responses in false-premise scenarios by 50.78%.