Le VLA connaît-il même les bases ? Mesure de la rétention des connaissances de sens commun et du monde dans les modèles Vision-Langage-Action

Résumé

Les modèles Vision-Langage-Action (VLA) incarnés sont généralement obtenus en affinant de puissants modèles VLM pré-entraînés sur des données robotiques, mais il n'est pas clair dans quelle mesure ils conservent les connaissances communes et factuelles après l'adaptation. Les échecs sur des tâches sensibles aux connaissances sont ambigus, confondant un manque de connaissances avec une mauvaise généralisation du contrôle de bas niveau. Nous introduisons Act2Answer, un protocole léger qui adapte les références de connaissances VLM à l'évaluation VLA en exigeant que les agents répondent par l'action. Chaque question devient un court épisode de table où l'agent effectue une action unique de placement d'objet pour sélectionner une réponse parmi les candidates, produisant un taux de succès ancré dans l'action avec des confusions de contrôle réduites. Nous constituons une suite de tests de ces environnements dans diverses catégories de sens commun et de connaissance du monde, et introduisons un sondage d'intention par couche pour localiser les informations pertinentes à la réponse à travers le backbone VLM et la tête d'action. Dans une étude à grande échelle de 7 modèles VLA et 9 modèles de base VLM, nous classons systématiquement les modèles par catégories, constatant que les VLA montrent des performances solides sur les concepts simples tout en présentant des écarts plus importants sur les catégories sémantiques riches par rapport à leurs VLM sources, que le co-entraînement VQA est associé à une meilleure rétention des connaissances, et que les signaux pertinents pour la réponse culminent dans les couches intermédiaires des VLA mais s'atténuent dans les couches supérieures. Act2Answer est disponible à l'adresse https://tttonyalpha.github.io/act2answer/.

English

Embodied Vision-Language-Action (VLA) models are typically obtained by fine-tuning powerful pretrained VLMs on robotics data, yet it is unclear how much commonsense and factual knowledge they retain after adaptation. Failures on knowledge-sensitive tasks are ambiguous, conflating missing knowledge with poor generalization of low-level control. We introduce Act2Answer, a lightweight protocol that adapts VLM knowledge benchmarks to VLA evaluation by requiring agents to answer through action. Each question becomes a short tabletop episode where the agent performs a single object-placement action to select among candidate answers, yielding an action-grounded success rate with reduced control confounds. We curate a test suite of such environments across diverse commonsense and world-knowledge categories and introduce layerwise intent probing to localize answer-relevant information across the VLM backbone and action head. In a large-scale study of 7 VLA models and 9 VLM baselines, we systematically rank models across categories, finding that VLAs show solid performance on simple concepts while exhibiting larger gaps on richer semantic categories relative to their source VLMs, that VQA co-training is associated with better knowledge retention, and that answer-relevant signals peak in middle VLA layers but attenuate in upper layers. Act2Answer is available at https://tttonyalpha.github.io/act2answer/.