Was tun? Vision-Sprache-Handlungs-Modelle lehren, das Unmögliche abzulehnen

Do What? Teaching Vision-Language-Action Models to Reject the Impossible

August 22, 2025

papers.authors: Wen-Han Hsieh, Elvis Hsieh, Dantong Niu, Trevor Darrell, Roei Herzig, David M. Chan

cs.AI

papers.abstract

Kürzlich haben Vision-Language-Action (VLA)-Modelle eine starke Leistung bei einer Reihe von robotischen Aufgaben gezeigt. Diese Modelle stützen sich auf multimodale Eingaben, wobei Sprachanweisungen eine entscheidende Rolle spielen – nicht nur bei der Vorhersage von Aktionen, sondern auch bei der robusten Interpretation der Benutzerabsicht, selbst wenn die Anfragen nicht erfüllbar sind. In dieser Arbeit untersuchen wir, wie VLAs falsche Prämissenanweisungen erkennen, interpretieren und darauf reagieren können: natürliche Sprachbefehle, die sich auf Objekte oder Bedingungen beziehen, die in der Umgebung nicht vorhanden sind. Wir schlagen Instruct-Verify-and-Act (IVA) vor, ein einheitliches Framework, das (i) erkennt, wann eine Anweisung aufgrund einer falschen Prämisse nicht ausgeführt werden kann, (ii) eine sprachbasierte Klärung oder Korrektur einleitet und (iii) plausible Alternativen in Wahrnehmung und Handlung verankert. Zu diesem Zweck erstellen wir ein groß angelegtes Instruction-Tuning-Setup mit strukturierten Sprachprompts und trainieren ein VLA-Modell, das sowohl präzise als auch fehlerhafte Anfragen verarbeiten kann. Unser Ansatz nutzt einen kontextuell angereicherten, halbsynthetischen Datensatz, der gepaarte positive und falsche Prämissenanweisungen enthält, was eine robuste Erkennung und natürliche Sprachkorrektur ermöglicht. Unsere Experimente zeigen, dass IVA die Genauigkeit der Erkennung falscher Prämissen um 97,56 % gegenüber den Baselines verbessert und gleichzeitig die erfolgreichen Antworten in Szenarien mit falschen Prämissen um 50,78 % erhöht.

English

Recently, Vision-Language-Action (VLA) models have demonstrated strong performance on a range of robotic tasks. These models rely on multimodal inputs, with language instructions playing a crucial role -- not only in predicting actions, but also in robustly interpreting user intent, even when the requests are impossible to fulfill. In this work, we investigate how VLAs can recognize, interpret, and respond to false-premise instructions: natural language commands that reference objects or conditions absent from the environment. We propose Instruct-Verify-and-Act (IVA), a unified framework that (i) detects when an instruction cannot be executed due to a false premise, (ii) engages in language-based clarification or correction, and (iii) grounds plausible alternatives in perception and action. Towards this end, we construct a large-scale instruction tuning setup with structured language prompts and train a VLA model capable of handling both accurate and erroneous requests. Our approach leverages a contextually augmented, semi-synthetic dataset containing paired positive and false-premise instructions, enabling robust detection and natural language correction. Our experiments show that IVA improves false premise detection accuracy by 97.56% over baselines, while increasing successful responses in false-premise scenarios by 50.78%.