¿Sabe VLA siquiera lo básico? Medición de la retención de conocimiento de sentido común y conocimiento del mundo en modelos Visión-Lenguaje-Acción

Resumen

Los modelos de Visión-Lenguaje-Acción (VLA) se obtienen típicamente ajustando modelos potentes de Visión-Lenguaje (VLM) preentrenados con datos robóticos, pero no está claro cuánto conocimiento de sentido común y factual retienen tras la adaptación. Los fallos en tareas que requieren conocimiento son ambiguos, mezclando falta de conocimiento con una pobre generalización del control de bajo nivel. Presentamos Act2Answer, un protocolo ligero que adapta los benchmarks de conocimiento de VLM a la evaluación de VLA al requerir que los agentes respondan a través de la acción. Cada pregunta se convierte en un breve episodio de mesa donde el agente realiza una única acción de colocación de objeto para seleccionar entre respuestas candidatas, obteniendo una tasa de éxito basada en la acción con menores factores de confusión de control. Seleccionamos un conjunto de pruebas de dichos entornos en diversas categorías de sentido común y conocimiento del mundo, e introducimos el sondaje de intención por capas para localizar información relevante para la respuesta a través de la columna vertebral del VLM y el cabezal de acción. En un estudio a gran escala con 7 modelos VLA y 9 líneas base VLM, clasificamos sistemáticamente los modelos por categorías, encontrando que los VLA muestran un rendimiento sólido en conceptos simples, pero presentan mayores brechas en categorías semánticas más ricas en comparación con sus VLM fuente; que el co-entrenamiento VQA se asocia con una mejor retención de conocimiento; y que las señales relevantes para la respuesta alcanzan su punto máximo en las capas medias de VLA, pero se atenúan en las capas superiores. Act2Answer está disponible en https://tttonyalpha.github.io/act2answer/.

English

Embodied Vision-Language-Action (VLA) models are typically obtained by fine-tuning powerful pretrained VLMs on robotics data, yet it is unclear how much commonsense and factual knowledge they retain after adaptation. Failures on knowledge-sensitive tasks are ambiguous, conflating missing knowledge with poor generalization of low-level control. We introduce Act2Answer, a lightweight protocol that adapts VLM knowledge benchmarks to VLA evaluation by requiring agents to answer through action. Each question becomes a short tabletop episode where the agent performs a single object-placement action to select among candidate answers, yielding an action-grounded success rate with reduced control confounds. We curate a test suite of such environments across diverse commonsense and world-knowledge categories and introduce layerwise intent probing to localize answer-relevant information across the VLM backbone and action head. In a large-scale study of 7 VLA models and 9 VLM baselines, we systematically rank models across categories, finding that VLAs show solid performance on simple concepts while exhibiting larger gaps on richer semantic categories relative to their source VLMs, that VQA co-training is associated with better knowledge retention, and that answer-relevant signals peak in middle VLA layers but attenuate in upper layers. Act2Answer is available at https://tttonyalpha.github.io/act2answer/.