Non Accecare la tua VLA: Allineamento delle Rappresentazioni Visive per la Generalizzazione Fuori Distribuzione
Don't Blind Your VLA: Aligning Visual Representations for OOD Generalization
October 29, 2025
Autori: Nikita Kachaev, Mikhail Kolosov, Daniil Zelezetsky, Alexey K. Kovalev, Aleksandr I. Panov
cs.AI
Abstract
Il crescente successo dei modelli Visione-Linguaggio-Azione (VLA) deriva dalla promessa che i modelli Visione-Linguaggio (VLM) preaddestrati possano dotare gli agenti di conoscenza del mondo trasferibile e di una base di associazione visione-linguaggio (VL), gettando le fondamenta per modelli d'azione con una generalizzazione più ampia. Tuttavia, quando questi VLM vengono adattati alla modalità azione, rimane poco chiaro in quale misura le loro rappresentazioni e conoscenze VL originali vengano preservate. In questo lavoro, conduciamo uno studio sistematico sulla ritenzione delle rappresentazioni durante la messa a punto (fine-tuning) per VLA, dimostrando che una semplice messa a punto per l'azione porta a un degrado delle rappresentazioni visive. Per caratterizzare e misurare questi effetti, analizziamo le rappresentazioni nascoste dei modelli VLA e le mappe di attenzione; inoltre, progettiamo una serie di compiti mirati e metodi che confrontano i modelli VLA con le loro controparti VLM, isolando i cambiamenti nelle capacità VL indotti dalla messa a punto per l'azione. Valutiamo inoltre una gamma di strategie per allineare le rappresentazioni visive e introduciamo un metodo semplice ma efficace che mitiga il degrado e produce una migliore generalizzazione a scenari fuori distribuzione (OOD). Nel complesso, la nostra analisi chiarisce il compromesso tra la messa a punto per l'azione e il degrado delle rappresentazioni VL e mette in luce approcci pratici per recuperare le capacità VL ereditate. Il codice è pubblicamente disponibile: https://blind-vla-paper.github.io
English
The growing success of Vision-Language-Action (VLA) models stems from the
promise that pretrained Vision-Language Models (VLMs) can endow agents with
transferable world knowledge and vision-language (VL) grounding, laying a
foundation for action models with broader generalization. Yet when these VLMs
are adapted to the action modality, it remains unclear to what extent their
original VL representations and knowledge are preserved. In this work, we
conduct a systematic study of representation retention during VLA fine-tuning,
showing that naive action fine-tuning leads to degradation of visual
representations. To characterize and measure these effects, we probe VLA's
hidden representations and analyze attention maps, further, we design a set of
targeted tasks and methods that contrast VLA models with their counterpart
VLMs, isolating changes in VL capabilities induced by action fine-tuning. We
further evaluate a range of strategies for aligning visual representations and
introduce a simple yet effective method that mitigates degradation and yields
improved generalization to out-of-distribution (OOD) scenarios. Taken together,
our analysis clarifies the trade-off between action fine-tuning and the
degradation of VL representations and highlights practical approaches to
recover inherited VL capabilities. Code is publicly available:
https://blind-vla-paper.github.io