¿Hacer qué? Enseñando a los modelos de visión-lenguaje-acción a rechazar lo imposible

Do What? Teaching Vision-Language-Action Models to Reject the Impossible

August 22, 2025

Autores: Wen-Han Hsieh, Elvis Hsieh, Dantong Niu, Trevor Darrell, Roei Herzig, David M. Chan

cs.AI

Resumen

Recientemente, los modelos Visión-Lenguaje-Acción (VLA) han demostrado un rendimiento sólido en una variedad de tareas robóticas. Estos modelos dependen de entradas multimodales, donde las instrucciones en lenguaje natural desempeñan un papel crucial, no solo en la predicción de acciones, sino también en la interpretación robusta de la intención del usuario, incluso cuando las solicitudes son imposibles de cumplir. En este trabajo, investigamos cómo los VLA pueden reconocer, interpretar y responder a instrucciones con premisas falsas: comandos en lenguaje natural que hacen referencia a objetos o condiciones ausentes en el entorno. Proponemos Instruir-Verificar-y-Actuar (IVA), un marco unificado que (i) detecta cuándo una instrucción no puede ejecutarse debido a una premisa falsa, (ii) participa en aclaraciones o correcciones basadas en lenguaje y (iii) fundamenta alternativas plausibles en la percepción y la acción. Para ello, construimos una configuración de ajuste de instrucciones a gran escala con indicaciones estructuradas en lenguaje natural y entrenamos un modelo VLA capaz de manejar tanto solicitudes precisas como erróneas. Nuestro enfoque aprovecha un conjunto de datos semi-sintético aumentado contextualmente que contiene instrucciones positivas y con premisas falsas emparejadas, lo que permite una detección robusta y una corrección en lenguaje natural. Nuestros experimentos muestran que IVA mejora la precisión en la detección de premisas falsas en un 97.56% en comparación con los métodos base, mientras aumenta las respuestas exitosas en escenarios con premisas falsas en un 50.78%.

English

Recently, Vision-Language-Action (VLA) models have demonstrated strong performance on a range of robotic tasks. These models rely on multimodal inputs, with language instructions playing a crucial role -- not only in predicting actions, but also in robustly interpreting user intent, even when the requests are impossible to fulfill. In this work, we investigate how VLAs can recognize, interpret, and respond to false-premise instructions: natural language commands that reference objects or conditions absent from the environment. We propose Instruct-Verify-and-Act (IVA), a unified framework that (i) detects when an instruction cannot be executed due to a false premise, (ii) engages in language-based clarification or correction, and (iii) grounds plausible alternatives in perception and action. Towards this end, we construct a large-scale instruction tuning setup with structured language prompts and train a VLA model capable of handling both accurate and erroneous requests. Our approach leverages a contextually augmented, semi-synthetic dataset containing paired positive and false-premise instructions, enabling robust detection and natural language correction. Our experiments show that IVA improves false premise detection accuracy by 97.56% over baselines, while increasing successful responses in false-premise scenarios by 50.78%.