Fare cosa? Insegnare ai modelli visione-linguaggio-azione a rifiutare l'impossibile

Do What? Teaching Vision-Language-Action Models to Reject the Impossible

August 22, 2025

Autori: Wen-Han Hsieh, Elvis Hsieh, Dantong Niu, Trevor Darrell, Roei Herzig, David M. Chan

cs.AI

Abstract

Recentemente, i modelli Vision-Language-Action (VLA) hanno dimostrato prestazioni elevate in una gamma di compiti robotici. Questi modelli si basano su input multimodali, con le istruzioni linguistiche che svolgono un ruolo cruciale — non solo nella previsione delle azioni, ma anche nell'interpretazione robusta dell'intento dell'utente, anche quando le richieste sono impossibili da soddisfare. In questo lavoro, indaghiamo come i VLA possano riconoscere, interpretare e rispondere a istruzioni con premesse false: comandi in linguaggio naturale che fanno riferimento a oggetti o condizioni assenti nell'ambiente. Proponiamo Instruct-Verify-and-Act (IVA), un framework unificato che (i) rileva quando un'istruzione non può essere eseguita a causa di una premessa falsa, (ii) si impegna in chiarimenti o correzioni basati sul linguaggio e (iii) radica alternative plausibili nella percezione e nell'azione. A tal fine, costruiamo un'impostazione su larga scala per il tuning delle istruzioni con prompt linguistici strutturati e addestriamo un modello VLA in grado di gestire sia richieste accurate che errate. Il nostro approccio sfrutta un dataset semi-sintetico arricchito contestualmente contenente istruzioni positive e con premesse false accoppiate, consentendo un rilevamento robusto e una correzione in linguaggio naturale. I nostri esperimenti mostrano che IVA migliora l'accuratezza del rilevamento delle premesse false del 97,56% rispetto ai baseline, aumentando del 50,78% le risposte riuscite negli scenari con premesse false.

English

Recently, Vision-Language-Action (VLA) models have demonstrated strong performance on a range of robotic tasks. These models rely on multimodal inputs, with language instructions playing a crucial role -- not only in predicting actions, but also in robustly interpreting user intent, even when the requests are impossible to fulfill. In this work, we investigate how VLAs can recognize, interpret, and respond to false-premise instructions: natural language commands that reference objects or conditions absent from the environment. We propose Instruct-Verify-and-Act (IVA), a unified framework that (i) detects when an instruction cannot be executed due to a false premise, (ii) engages in language-based clarification or correction, and (iii) grounds plausible alternatives in perception and action. Towards this end, we construct a large-scale instruction tuning setup with structured language prompts and train a VLA model capable of handling both accurate and erroneous requests. Our approach leverages a contextually augmented, semi-synthetic dataset containing paired positive and false-premise instructions, enabling robust detection and natural language correction. Our experiments show that IVA improves false premise detection accuracy by 97.56% over baselines, while increasing successful responses in false-premise scenarios by 50.78%.