Kent VLA eigenlijk wel de basisbeginselen? Het meten van het behoud van alledaagse kennis en wereldkennis in Visie-Taal-Actie Modellen

Samenvatting

Belichaamde Visie-Taal-Actie (VTA) modellen worden doorgaans verkregen door krachtige voorgetrainde VTM's fijn te stemmen op robotica-data, maar het is onduidelijk in hoeverre ze algemene en feitelijke kennis behouden na aanpassing. Fouten bij kennisgevoelige taken zijn dubbelzinnig en verwarren ontbrekende kennis met slechte generalisatie van laagniveaubesturing. We introduceren Act2Answer, een lichtgewicht protocol dat VTM-kennisbenchmarks aanpast aan VTA-evaluatie door agenten te vereisen te antwoorden via actie. Elke vraag wordt een korte tafelepisode waarin de agent een enkele objectplaatsingsactie uitvoert om te kiezen tussen kandidaatantwoorden, wat een actie-gebaseerde succesratio oplevert met minder controleverstoringen. We stellen een testsuite samen van dergelijke omgevingen over diverse categorieën van algemene en wereldkennis en introduceren laagsgewijze intentieprobbing om antwoordrelevante informatie te lokaliseren over de VTM-backbone en het actiehoofd. In een grootschalige studie van 7 VTA-modellen en 9 VTM-baselines rangschikken we systematisch modellen over categorieën en vinden we dat VTA's solide prestaties vertonen op eenvoudige concepten, terwijl ze grotere hiaten vertonen op rijkere semantische categorieën ten opzichte van hun bron-VTM's, dat VQA-co-training geassocieerd is met betere kennisretentie, en dat antwoordrelevante signalen pieken in middelste VTA-lagen maar verzwakken in bovenste lagen. Act2Answer is beschikbaar op https://tttonyalpha.github.io/act2answer/.

English

Embodied Vision-Language-Action (VLA) models are typically obtained by fine-tuning powerful pretrained VLMs on robotics data, yet it is unclear how much commonsense and factual knowledge they retain after adaptation. Failures on knowledge-sensitive tasks are ambiguous, conflating missing knowledge with poor generalization of low-level control. We introduce Act2Answer, a lightweight protocol that adapts VLM knowledge benchmarks to VLA evaluation by requiring agents to answer through action. Each question becomes a short tabletop episode where the agent performs a single object-placement action to select among candidate answers, yielding an action-grounded success rate with reduced control confounds. We curate a test suite of such environments across diverse commonsense and world-knowledge categories and introduce layerwise intent probing to localize answer-relevant information across the VLM backbone and action head. In a large-scale study of 7 VLA models and 9 VLM baselines, we systematically rank models across categories, finding that VLAs show solid performance on simple concepts while exhibiting larger gaps on richer semantic categories relative to their source VLMs, that VQA co-training is associated with better knowledge retention, and that answer-relevant signals peak in middle VLA layers but attenuate in upper layers. Act2Answer is available at https://tttonyalpha.github.io/act2answer/.