Wat Doen? Vision-Taal-Actie Modellen Leren om het Onmogelijke te Weigeren

Do What? Teaching Vision-Language-Action Models to Reject the Impossible

August 22, 2025

Auteurs: Wen-Han Hsieh, Elvis Hsieh, Dantong Niu, Trevor Darrell, Roei Herzig, David M. Chan

cs.AI

Samenvatting

Onlangs hebben Vision-Language-Action (VLA)-modellen sterke prestaties laten zien bij een reeks robotische taken. Deze modellen vertrouwen op multimodale invoer, waarbij taal-instructies een cruciale rol spelen – niet alleen bij het voorspellen van acties, maar ook bij het robuust interpreteren van gebruikersintenties, zelfs wanneer de verzoeken onuitvoerbaar zijn. In dit werk onderzoeken we hoe VLA's valse-premisse-instructies kunnen herkennen, interpreteren en erop reageren: natuurlijke taalcommando's die verwijzen naar objecten of omstandigheden die afwezig zijn in de omgeving. We stellen Instruct-Verify-and-Act (IVA) voor, een uniform raamwerk dat (i) detecteert wanneer een instructie niet kan worden uitgevoerd vanwege een valse premisse, (ii) taalgebaseerde verduidelijking of correctie toepast, en (iii) plausibele alternatieven verankert in perceptie en actie. Hiertoe construeren we een grootschalige instructie-afstemmingsopstelling met gestructureerde taalprompts en trainen we een VLA-model dat zowel nauwkeurige als foutieve verzoeken kan verwerken. Onze aanpak maakt gebruik van een contextueel verrijkte, semi-synthetische dataset met gepaarde positieve en valse-premisse-instructies, wat robuuste detectie en natuurlijke taalcorrectie mogelijk maakt. Onze experimenten tonen aan dat IVA de nauwkeurigheid van valse-premisse-detectie met 97,56% verbetert ten opzichte van baseline-methoden, terwijl het aantal succesvolle reacties in valse-premisse-scenario's met 50,78% toeneemt.

English

Recently, Vision-Language-Action (VLA) models have demonstrated strong performance on a range of robotic tasks. These models rely on multimodal inputs, with language instructions playing a crucial role -- not only in predicting actions, but also in robustly interpreting user intent, even when the requests are impossible to fulfill. In this work, we investigate how VLAs can recognize, interpret, and respond to false-premise instructions: natural language commands that reference objects or conditions absent from the environment. We propose Instruct-Verify-and-Act (IVA), a unified framework that (i) detects when an instruction cannot be executed due to a false premise, (ii) engages in language-based clarification or correction, and (iii) grounds plausible alternatives in perception and action. Towards this end, we construct a large-scale instruction tuning setup with structured language prompts and train a VLA model capable of handling both accurate and erroneous requests. Our approach leverages a contextually augmented, semi-synthetic dataset containing paired positive and false-premise instructions, enabling robust detection and natural language correction. Our experiments show that IVA improves false premise detection accuracy by 97.56% over baselines, while increasing successful responses in false-premise scenarios by 50.78%.