Kennt VLA überhaupt die Grundlagen? Messung der Beibehaltung von Alltags- und Weltwissen in Vision-Language-Action-Modellen

Zusammenfassung

Verkörperte Vision-Sprache-Aktion (VLA) Modelle werden typischerweise durch Feinabstimmung leistungsstarker vortrainierter VLMs auf Robotikdaten gewonnen, jedoch ist unklar, wie viel Allgemeinwissen und Faktenwissen sie nach der Anpassung beibehalten. Fehler bei wissensensitiven Aufgaben sind mehrdeutig, wobei fehlendes Wissen mit schlechter Generalisierung der Low-Level-Steuerung vermischt wird. Wir stellen Act2Answer vor, ein leichtgewichtiges Protokoll, das VLM-Wissensbenchmarks an die VLA-Evaluierung anpasst, indem es von Agenten verlangt, durch Aktionen zu antworten. Jede Frage wird zu einer kurzen Tischplatten-Episode, in der der Agent eine einzelne Objektplatzierungsaktion ausführt, um zwischen Kandidatenantworten zu wählen, was eine aktionsbasierte Erfolgsrate mit reduzierten Störfaktoren der Steuerung ergibt. Wir kuratieren eine Testsuite solcher Umgebungen über verschiedene Kategorien von Allgemeinwissen und Weltwissen hinweg und führen schichtweise Absichtsanalyse ein, um antwortrelevante Informationen über das VLM-Backbone und den Aktionskopf hinweg zu lokalisieren. In einer groß angelegten Studie mit 7 VLA-Modellen und 9 VLM-Baselines ordnen wir Modelle systematisch über Kategorien hinweg und stellen fest, dass VLAs auf einfachen Konzepten solide Leistung zeigen, während sie im Vergleich zu ihren Quell-VLMs größere Lücken bei reichhaltigeren semantischen Kategorien aufweisen, dass VQA-Co-Training mit besserer Wissensbewahrung verbunden ist und dass antwortrelevante Signale in den mittleren VLA-Schichten ihren Höhepunkt erreichen, aber in den oberen Schichten abklingen. Act2Answer ist verfügbar unter https://tttonyalpha.github.io/act2answer/.

English

Embodied Vision-Language-Action (VLA) models are typically obtained by fine-tuning powerful pretrained VLMs on robotics data, yet it is unclear how much commonsense and factual knowledge they retain after adaptation. Failures on knowledge-sensitive tasks are ambiguous, conflating missing knowledge with poor generalization of low-level control. We introduce Act2Answer, a lightweight protocol that adapts VLM knowledge benchmarks to VLA evaluation by requiring agents to answer through action. Each question becomes a short tabletop episode where the agent performs a single object-placement action to select among candidate answers, yielding an action-grounded success rate with reduced control confounds. We curate a test suite of such environments across diverse commonsense and world-knowledge categories and introduce layerwise intent probing to localize answer-relevant information across the VLM backbone and action head. In a large-scale study of 7 VLA models and 9 VLM baselines, we systematically rank models across categories, finding that VLAs show solid performance on simple concepts while exhibiting larger gaps on richer semantic categories relative to their source VLMs, that VQA co-training is associated with better knowledge retention, and that answer-relevant signals peak in middle VLA layers but attenuate in upper layers. Act2Answer is available at https://tttonyalpha.github.io/act2answer/.