Не ослепляйте свой VLA: согласование визуальных представлений для обобщения на распределениях вне обучающей выборки
Don't Blind Your VLA: Aligning Visual Representations for OOD Generalization
October 29, 2025
Авторы: Nikita Kachaev, Mikhail Kolosov, Daniil Zelezetsky, Alexey K. Kovalev, Aleksandr I. Panov
cs.AI
Аннотация
Растущий успех моделей Vision-Language-Action (VLA) обусловлен предположением, что предобученные модели Vision-Language (VLM) могут наделить агентов переносимыми знаниями о мире и связью между зрением и языком (VL), закладывая основу для моделей действий с более широкой обобщающей способностью. Однако при адаптации этих VLM-моделей к модальности действий остается неясным, в какой степени сохраняются их исходные VL-представления и знания. В данной работе мы проводим систематическое исследование сохранения репрезентаций в процессе тонкой настройки VLA, показывая, что наивная тонкая настройка на действиях приводит к деградации визуальных представлений. Чтобы охарактеризовать и измерить эти эффекты, мы исследуем скрытые представления VLA и анализируем карты внимания; далее мы разрабатываем набор целевых задач и методов, которые сравнивают модели VLA с их VLM-аналогами, изолируя изменения в VL-возможностях, вызванные тонкой настройкой на действиях. Мы также оцениваем ряд стратегий для выравнивания визуальных представлений и представляем простой, но эффективный метод, который смягчает деградацию и обеспечивает улучшенную обобщающую способность в сценариях с выходом за пределы распределения (OOD). В совокупности наш анализ проясняет компромисс между тонкой настройкой на действиях и деградацией VL-представлений и выделяет практические подходы для восстановления унаследованных VL-возможностей. Код общедоступен по адресу: https://blind-vla-paper.github.io
English
The growing success of Vision-Language-Action (VLA) models stems from the
promise that pretrained Vision-Language Models (VLMs) can endow agents with
transferable world knowledge and vision-language (VL) grounding, laying a
foundation for action models with broader generalization. Yet when these VLMs
are adapted to the action modality, it remains unclear to what extent their
original VL representations and knowledge are preserved. In this work, we
conduct a systematic study of representation retention during VLA fine-tuning,
showing that naive action fine-tuning leads to degradation of visual
representations. To characterize and measure these effects, we probe VLA's
hidden representations and analyze attention maps, further, we design a set of
targeted tasks and methods that contrast VLA models with their counterpart
VLMs, isolating changes in VL capabilities induced by action fine-tuning. We
further evaluate a range of strategies for aligning visual representations and
introduce a simple yet effective method that mitigates degradation and yields
improved generalization to out-of-distribution (OOD) scenarios. Taken together,
our analysis clarifies the trade-off between action fine-tuning and the
degradation of VL representations and highlights practical approaches to
recover inherited VL capabilities. Code is publicly available:
https://blind-vla-paper.github.io