Что делать? Обучение моделей "Ви́дение-Язык-Действие" отклонять невозможное

Do What? Teaching Vision-Language-Action Models to Reject the Impossible

August 22, 2025

Авторы: Wen-Han Hsieh, Elvis Hsieh, Dantong Niu, Trevor Darrell, Roei Herzig, David M. Chan

cs.AI

Аннотация

В последнее время модели Vision-Language-Action (VLA) продемонстрировали высокую производительность в решении различных задач робототехники. Эти модели опираются на мультимодальные входные данные, где языковые инструкции играют ключевую роль — не только в предсказании действий, но и в надежной интерпретации намерений пользователя, даже когда запросы невозможно выполнить. В данной работе мы исследуем, как модели VLA могут распознавать, интерпретировать и реагировать на инструкции с ложными предпосылками: команды на естественном языке, которые ссылаются на объекты или условия, отсутствующие в окружающей среде. Мы предлагаем Instruct-Verify-and-Act (IVA), унифицированную структуру, которая (i) определяет, когда инструкция не может быть выполнена из-за ложной предпосылки, (ii) вовлекается в языковое уточнение или исправление и (iii) связывает правдоподобные альтернативы с восприятием и действием. Для этого мы создаем крупномасштабную настройку инструкций с использованием структурированных языковых подсказок и обучаем модель VLA, способную обрабатывать как точные, так и ошибочные запросы. Наш подход использует контекстуально расширенный полусинтетический набор данных, содержащий парные инструкции с корректными и ложными предпосылками, что обеспечивает надежное обнаружение и исправление на естественном языке. Наши эксперименты показывают, что IVA улучшает точность обнаружения ложных предпосылок на 97,56% по сравнению с базовыми методами, одновременно увеличивая успешные ответы в сценариях с ложными предпосылками на 50,78%.

English

Recently, Vision-Language-Action (VLA) models have demonstrated strong performance on a range of robotic tasks. These models rely on multimodal inputs, with language instructions playing a crucial role -- not only in predicting actions, but also in robustly interpreting user intent, even when the requests are impossible to fulfill. In this work, we investigate how VLAs can recognize, interpret, and respond to false-premise instructions: natural language commands that reference objects or conditions absent from the environment. We propose Instruct-Verify-and-Act (IVA), a unified framework that (i) detects when an instruction cannot be executed due to a false premise, (ii) engages in language-based clarification or correction, and (iii) grounds plausible alternatives in perception and action. Towards this end, we construct a large-scale instruction tuning setup with structured language prompts and train a VLA model capable of handling both accurate and erroneous requests. Our approach leverages a contextually augmented, semi-synthetic dataset containing paired positive and false-premise instructions, enabling robust detection and natural language correction. Our experiments show that IVA improves false premise detection accuracy by 97.56% over baselines, while increasing successful responses in false-premise scenarios by 50.78%.