Queda-e-Recuperação: Quão Redundantes São os Modelos Visão-Linguagem-Ação?

Resumo

Modelos Visão-Linguagem-Ação (VLA) possibilitam manipulação robótica guiada por instruções, mas herdam backbones de linguagem superdimensionados de VLMs pré-treinados, cuja capacidade excede em muito o necessário para instruções robóticas curtas. Isso levanta uma questão fundamental: quanto de um modelo VLA é realmente necessário para controle em malha fechada? Neste trabalho, estudamos a redundância arquitetural em modelos VLA utilizando a remoção de blocos transformadores como uma intervenção controlada. Apresentamos o Abandono-Então-Recuperação (DTR), um protocolo de análise que remove blocos selecionados de um modelo VLA pré-treinado e, em seguida, ajusta finamente o modelo resultante para medir se a capacidade removida era necessária para o controle downstream. Para tornar essa intervenção confiável, propomos o GateProbe, uma métrica de sensibilidade de portão virtual de um único disparo que classifica blocos por sua contribuição para a perda de ação downstream. Em múltiplas arquiteturas VLA, benchmarks de manipulação e até cenários industriais reais com robôs, encontramos uma forte assimetria na recuperabilidade pós-remoção: \textit{backbones de linguagem são altamente redundantes para tarefas padrão de manipulação robótica, enquanto as vias de visão e ação são substancialmente menos tolerantes à remoção}. No LIBERO, remover metade dos blocos LLM chega a melhorar o OpenVLA-OFT de 95,0% para 98,3% sob o mesmo orçamento de ajuste fino downstream, e reter apenas dois blocos de linguagem ainda recupera o desempenho no nível basal. Esses resultados sugerem que os atuais benchmarks VLA podem exercer pressão limitada sobre a fundamentação linguística profunda e a compreensão composicional de instruções, e que futuras arquiteturas VLA devem alocar capacidade de forma mais deliberada entre os componentes de linguagem, visão e ação. O código está disponível em https://github.com/s1ghhh/VLADrop.

English

Vision-Language-Action (VLA) models enable instruction-driven robotic manipulation, but they inherit oversized language backbones from pretrained VLMs whose capacity far exceeds what is needed for short robotic instructions. This raises a basic question: how much of a VLA model is actually necessary for closed-loop control? In this work, we study architectural redundancy in VLA models by using transformer block removal as a controlled intervention. We introduce Drop-Then-Recovery (DTR), an analysis protocol that removes selected blocks from a pretrained VLA model and then fine-tunes the resulting model to measure whether the removed capacity was necessary for downstream control. To make this intervention reliable, we propose GateProbe, a one-shot virtual-gate sensitivity metric that ranks blocks by their contribution to the downstream action loss. Across multiple VLA architectures, manipulation benchmarks and even real-robot industrial scenarios, we find a strong asymmetry in post-removal recoverability: \textit{language backbones are highly redundant for standard robotic manipulation tasks, whereas vision and action pathways are substantially less tolerant to removal}. On LIBERO, removing half of the LLM blocks even improves OpenVLA-OFT from 95.0% to 98.3% under the same downstream fine-tuning budget, and retaining only two language blocks still recovers baseline-level performance. These results suggest that current VLA benchmarks may exert limited pressure on deep language grounding and compositional instruction understanding, and that future VLA architectures should allocate capacity more deliberately across language, vision, and action components. The code is available at https://github.com/s1ghhh/VLADrop.