Сброс-Затем-Восстановление: насколько избыточны модели зрения-языка-действия?

Аннотация

Модели «зрение-язык-действие» (Vision-Language-Action, VLA) обеспечивают управление роботизированными манипуляциями на основе инструкций, однако они наследуют избыточно большие языковые магистрали от предварительно обученных VLM, чья ёмкость значительно превышает необходимую для коротких роботизированных команд. Это поднимает фундаментальный вопрос: какая часть модели VLA действительно необходима для управления с обратной связью? В данной работе мы исследуем архитектурную избыточность в VLA-моделях, используя удаление блоков трансформера в качестве контролируемого вмешательства. Мы предлагаем протокол «Удаление-Затем-Восстановление» (Drop-Then-Recovery, DTR), который удаляет выбранные блоки из предварительно обученной VLA-модели, а затем дообучает полученную модель, чтобы оценить, была ли удалённая ёмкость необходима для последующего управления. Для обеспечения надёжности этого вмешательства мы разрабатываем GateProbe — метрику чувствительности на основе однократных виртуальных вентилей, которая ранжирует блоки по их вкладу в функцию потерь действий на downstream-этапе. На нескольких архитектурах VLA, бенчмарках манипуляций и даже в реальных промышленных сценариях с роботами мы обнаруживаем сильную асимметрию в возможности восстановления после удаления: *языковые магистрали обладают высокой избыточностью для стандартных задач роботизированных манипуляций, в то время как каналы зрения и действий значительно менее толерантны к удалению*. На бенчмарке LIBERO удаление половины блоков LLM даже улучшает показатель OpenVLA-OFT с 95,0% до 98,3% при одинаковом бюджете downstream-дообучения, а сохранение лишь двух языковых блоков всё ещё позволяет достичь производительности на уровне базовой модели. Эти результаты позволяют предположить, что текущие бенчмарки VLA могут оказывать ограниченное давление на глубокое языковое обоснование и понимание композиционных инструкций, и что будущие архитектуры VLA должны более целенаправленно распределять ёмкость между языковыми, зрительными и действенными компонентами. Код доступен по адресу: https://github.com/s1ghhh/VLADrop.

English

Vision-Language-Action (VLA) models enable instruction-driven robotic manipulation, but they inherit oversized language backbones from pretrained VLMs whose capacity far exceeds what is needed for short robotic instructions. This raises a basic question: how much of a VLA model is actually necessary for closed-loop control? In this work, we study architectural redundancy in VLA models by using transformer block removal as a controlled intervention. We introduce Drop-Then-Recovery (DTR), an analysis protocol that removes selected blocks from a pretrained VLA model and then fine-tunes the resulting model to measure whether the removed capacity was necessary for downstream control. To make this intervention reliable, we propose GateProbe, a one-shot virtual-gate sensitivity metric that ranks blocks by their contribution to the downstream action loss. Across multiple VLA architectures, manipulation benchmarks and even real-robot industrial scenarios, we find a strong asymmetry in post-removal recoverability: \textit{language backbones are highly redundant for standard robotic manipulation tasks, whereas vision and action pathways are substantially less tolerant to removal}. On LIBERO, removing half of the LLM blocks even improves OpenVLA-OFT from 95.0% to 98.3% under the same downstream fine-tuning budget, and retaining only two language blocks still recovers baseline-level performance. These results suggest that current VLA benchmarks may exert limited pressure on deep language grounding and compositional instruction understanding, and that future VLA architectures should allocate capacity more deliberately across language, vision, and action components. The code is available at https://github.com/s1ghhh/VLADrop.