Van Intentie naar Uitvoering: Onderzoek naar de Generalisatiegrenzen van Visie-Taal-Actie Modellen

From Intention to Execution: Probing the Generalization Boundaries of Vision-Language-Action Models

June 11, 2025

Auteurs: Irving Fang, Juexiao Zhang, Shengbang Tong, Chen Feng

cs.AI

Samenvatting

Een belofte die Vision-Language-Action (VLA)-modellen hebben ten opzichte van traditioneel imitatieleren voor robotica, is het benutten van de brede generalisatiecapaciteiten van grote Vision-Language Models (VLMs) om veelzijdige, "generalistische" robotbeleidsregels te produceren. Echter, de huidige evaluaties van VLA's blijven ontoereikend. Traditionele benchmarks voor imitatieleren zijn ongeschikt vanwege het ontbreken van taal instructies. Opkomende benchmarks voor VLA's die taal integreren, hebben vaak beperkte evaluatietaken en zijn niet bedoeld om te onderzoeken hoeveel VLM-voorafgaande training daadwerkelijk bijdraagt aan de generalisatiecapaciteiten van het downstream robotbeleid. Tegelijkertijd vertrouwt veel onderzoek op real-world robotopstellingen die in isolatie zijn ontworpen door verschillende instellingen, wat een barrière vormt voor reproduceerbaarheid en toegankelijkheid. Om dit gat te dichten, introduceren we een uniforme testsuite van 50 simulatiegebaseerde taken verdeeld over 10 subcategorieën die taal instructie, visie en objecten omvatten. We evalueren systematisch verschillende state-of-the-art VLA-architecturen op deze suite om hun generalisatievermogen te begrijpen. Onze resultaten laten zien dat hoewel VLM-backbones VLA's voorzien van robuust perceptueel begrip en hoog niveau planning, wat we goede intenties noemen, dit niet betrouwbaar vertaalt naar precieze motorische uitvoering: wanneer ze worden geconfronteerd met out-of-distribution observaties, vertonen beleidsregels vaak coherente intenties, maar falen in actie-uitvoering. Bovendien kan finetunen op actiegegevens de oorspronkelijke generalistische redeneervaardigheden van de VLM aantasten. We geven onze tasksuite en evaluatiecode vrij om te dienen als een gestandaardiseerde benchmark voor toekomstige VLA's en om onderzoek te stimuleren naar het dichten van de kloof tussen perceptie en actie. Meer informatie, inclusief de broncode, is te vinden op https://ai4ce.github.io/INT-ACT/.

English

One promise that Vision-Language-Action (VLA) models hold over traditional imitation learning for robotics is to leverage the broad generalization capabilities of large Vision-Language Models (VLMs) to produce versatile, "generalist" robot policies. However, current evaluations of VLAs remain insufficient. Traditional imitation learning benchmarks are unsuitable due to the lack of language instructions. Emerging benchmarks for VLAs that incorporate language often come with limited evaluation tasks and do not intend to investigate how much VLM pretraining truly contributes to the generalization capabilities of the downstream robotic policy. Meanwhile, much research relies on real-world robot setups designed in isolation by different institutions, which creates a barrier for reproducibility and accessibility. To address this gap, we introduce a unified probing suite of 50 simulation-based tasks across 10 subcategories spanning language instruction, vision, and objects. We systematically evaluate several state-of-the-art VLA architectures on this suite to understand their generalization capability. Our results show that while VLM backbones endow VLAs with robust perceptual understanding and high level planning, which we refer to as good intentions, this does not reliably translate into precise motor execution: when faced with out-of-distribution observations, policies often exhibit coherent intentions, but falter in action execution. Moreover, finetuning on action data can erode the original VLM's generalist reasoning abilities. We release our task suite and evaluation code to serve as a standardized benchmark for future VLAs and to drive research on closing the perception-to-action gap. More information, including the source code, can be found at https://ai4ce.github.io/INT-ACT/