Знает ли VLA даже основы? Измерение сохранения здравого смысла и знаний о мире в моделях «зрение-язык-действие»

Аннотация

Воплощенные модели «Видение–Язык–Действие» (VLA) обычно получаются путем тонкой настройки мощных предобученных языковых моделей с визуальным входом (VLM) на данных робототехники, однако остается неясным, насколько такие модели сохраняют здравый смысл и фактические знания после адаптации. Ошибки в задачах, чувствительных к знаниям, носят неоднозначный характер: они смешивают нехватку знаний с плохой генерализацией низкоуровневого управления. Мы предлагаем Act2Answer — легковесный протокол, который адаптирует тесты знаний для VLM к оценке VLA, требуя от агентов отвечать через действие. Каждый вопрос превращается в короткий эпизод на столе, где агент совершает единое действие по размещению объекта для выбора одного из вариантов ответа, что дает показатель успешности на основе действий с уменьшенным влиянием фактора управления. Мы формируем набор тестовых сред такого типа для различных категорий здравого смысла и знаний о мире и вводим послойное зондирование намерений для локализации информации, релевантной ответу, в магистрали VLM и в голове действия. В крупномасштабном исследовании 7 моделей VLA и 9 базовых VLM мы систематически ранжируем модели по категориям, обнаруживая, что VLA демонстрируют устойчивую производительность на простых концепциях, но имеют большие разрывы в более насыщенных семантических категориях по сравнению с исходными VLM, что совместное обучение с VQA связано с лучшим сохранением знаний, и что сигналы, релевантные ответу, достигают пика в средних слоях VLA, но ослабевают в верхних слоях. Act2Answer доступен по адресу https://tttonyalpha.github.io/act2answer/.

English

Embodied Vision-Language-Action (VLA) models are typically obtained by fine-tuning powerful pretrained VLMs on robotics data, yet it is unclear how much commonsense and factual knowledge they retain after adaptation. Failures on knowledge-sensitive tasks are ambiguous, conflating missing knowledge with poor generalization of low-level control. We introduce Act2Answer, a lightweight protocol that adapts VLM knowledge benchmarks to VLA evaluation by requiring agents to answer through action. Each question becomes a short tabletop episode where the agent performs a single object-placement action to select among candidate answers, yielding an action-grounded success rate with reduced control confounds. We curate a test suite of such environments across diverse commonsense and world-knowledge categories and introduce layerwise intent probing to localize answer-relevant information across the VLM backbone and action head. In a large-scale study of 7 VLA models and 9 VLM baselines, we systematically rank models across categories, finding that VLAs show solid performance on simple concepts while exhibiting larger gaps on richer semantic categories relative to their source VLMs, that VQA co-training is associated with better knowledge retention, and that answer-relevant signals peak in middle VLA layers but attenuate in upper layers. Act2Answer is available at https://tttonyalpha.github.io/act2answer/.