Dall'Intenzione all'Esecuzione: Esplorando i Confini della Generalizzazione nei Modelli Visione-Linguaggio-Azione

From Intention to Execution: Probing the Generalization Boundaries of Vision-Language-Action Models

June 11, 2025

Autori: Irving Fang, Juexiao Zhang, Shengbang Tong, Chen Feng

cs.AI

Abstract

Una delle promesse dei modelli Vision-Language-Action (VLA) rispetto all'apprendimento per imitazione tradizionale nella robotica è quella di sfruttare le ampie capacità di generalizzazione dei grandi modelli Vision-Language (VLM) per produrre politiche robotiche versatili e "generaliste". Tuttavia, le valutazioni attuali dei VLA rimangono insufficienti. I benchmark tradizionali per l'apprendimento per imitazione non sono adatti a causa della mancanza di istruzioni linguistiche. I benchmark emergenti per i VLA che incorporano il linguaggio spesso presentano compiti di valutazione limitati e non intendono indagare quanto il pre-addestramento dei VLM contribuisca realmente alle capacità di generalizzazione della politica robotica downstream. Nel frattempo, gran parte della ricerca si basa su configurazioni robotiche del mondo reale progettate in isolamento da diverse istituzioni, il che crea una barriera alla riproducibilità e all'accessibilità. Per colmare questa lacuna, introduciamo una suite unificata di 50 task basati su simulazione, suddivisi in 10 sottocategorie che abbracciano istruzioni linguistiche, visione e oggetti. Valutiamo sistematicamente diverse architetture VLA all'avanguardia su questa suite per comprenderne la capacità di generalizzazione. I nostri risultati mostrano che, sebbene i backbone VLM conferiscano ai VLA una solida comprensione percettiva e una pianificazione di alto livello, che definiamo come buone intenzioni, ciò non si traduce in modo affidabile in un'esecuzione motoria precisa: quando si trovano di fronte a osservazioni fuori distribuzione, le politiche spesso mostrano intenzioni coerenti, ma vacillano nell'esecuzione delle azioni. Inoltre, il fine-tuning sui dati di azione può erodere le capacità di ragionamento generalista del VLM originale. Rilasciamo la nostra suite di task e il codice di valutazione per servire come benchmark standardizzato per i futuri VLA e per guidare la ricerca sul colmare il divario percezione-azione. Ulteriori informazioni, incluso il codice sorgente, sono disponibili all'indirizzo https://ai4ce.github.io/INT-ACT/.

English

One promise that Vision-Language-Action (VLA) models hold over traditional imitation learning for robotics is to leverage the broad generalization capabilities of large Vision-Language Models (VLMs) to produce versatile, "generalist" robot policies. However, current evaluations of VLAs remain insufficient. Traditional imitation learning benchmarks are unsuitable due to the lack of language instructions. Emerging benchmarks for VLAs that incorporate language often come with limited evaluation tasks and do not intend to investigate how much VLM pretraining truly contributes to the generalization capabilities of the downstream robotic policy. Meanwhile, much research relies on real-world robot setups designed in isolation by different institutions, which creates a barrier for reproducibility and accessibility. To address this gap, we introduce a unified probing suite of 50 simulation-based tasks across 10 subcategories spanning language instruction, vision, and objects. We systematically evaluate several state-of-the-art VLA architectures on this suite to understand their generalization capability. Our results show that while VLM backbones endow VLAs with robust perceptual understanding and high level planning, which we refer to as good intentions, this does not reliably translate into precise motor execution: when faced with out-of-distribution observations, policies often exhibit coherent intentions, but falter in action execution. Moreover, finetuning on action data can erode the original VLM's generalist reasoning abilities. We release our task suite and evaluation code to serve as a standardized benchmark for future VLAs and to drive research on closing the perception-to-action gap. More information, including the source code, can be found at https://ai4ce.github.io/INT-ACT/