Drop-Then-Recovery: 비전-언어-행동 모델은 얼마나 중복적인가?

초록

비전-언어-행동(Vision-Language-Action, VLA) 모델은 명령 기반 로봇 조작을 가능하게 하지만, 사전 학습된 VLM으로부터 과도하게 큰 언어 백본을 상속받으며, 이 백본의 용량은 짧은 로봇 명령에 필요한 수준을 훨씬 초과한다. 이는 근본적인 질문을 제기한다: 폐루프 제어를 위해 VLA 모델의 어느 정도가 실제로 필요한가? 본 연구에서는 트랜스포머 블록 제거를 통제된 개입으로 활용하여 VLA 모델의 구조적 중복성을 연구한다. 우리는 Drop-Then-Recovery(DTR)라는 분석 프로토콜을 도입한다. 이는 사전 학습된 VLA 모델에서 선택된 블록을 제거한 후, 결과 모델을 미세 조정하여 제거된 용량이 하류 제어에 필수적이었는지 측정한다. 이 개입을 신뢰할 수 있게 만들기 위해, 하류 행동 손실에 대한 블록의 기여도를 순위화하는 원샷 가상 게이트 민감도 지표인 GateProbe를 제안한다. 여러 VLA 아키텍처, 조작 벤치마크, 심지어 실제 로봇 산업 시나리오에 걸쳐, 제거 후 회복 가능성에서 강한 비대칭성이 관찰된다: *언어 백본은 표준 로봇 조작 작업에 대해 매우 중복적인 반면, 비전 및 행동 경로는 제거에 훨씬 덜 관대하다*. LIBERO에서는 동일한 하향 미세 조정 예산 하에서 LLM 블록의 절반을 제거하면 오히려 OpenVLA-OFT가 95.0%에서 98.3%로 향상되며, 단 두 개의 언어 블록만 유지해도 기준 성능을 회복한다. 이러한 결과는 현재의 VLA 벤치마크가 심층 언어 접지 및 구성적 명령 이해에 제한적인 압력을 가하고 있음을 시사하며, 향후 VLA 아키텍처는 언어, 비전, 행동 구성 요소 간에 용량을 더 의도적으로 할당해야 함을 암시한다. 코드는 https://github.com/s1ghhh/VLADrop에서 확인할 수 있다.

English

Vision-Language-Action (VLA) models enable instruction-driven robotic manipulation, but they inherit oversized language backbones from pretrained VLMs whose capacity far exceeds what is needed for short robotic instructions. This raises a basic question: how much of a VLA model is actually necessary for closed-loop control? In this work, we study architectural redundancy in VLA models by using transformer block removal as a controlled intervention. We introduce Drop-Then-Recovery (DTR), an analysis protocol that removes selected blocks from a pretrained VLA model and then fine-tunes the resulting model to measure whether the removed capacity was necessary for downstream control. To make this intervention reliable, we propose GateProbe, a one-shot virtual-gate sensitivity metric that ranks blocks by their contribution to the downstream action loss. Across multiple VLA architectures, manipulation benchmarks and even real-robot industrial scenarios, we find a strong asymmetry in post-removal recoverability: \textit{language backbones are highly redundant for standard robotic manipulation tasks, whereas vision and action pathways are substantially less tolerant to removal}. On LIBERO, removing half of the LLM blocks even improves OpenVLA-OFT from 95.0% to 98.3% under the same downstream fine-tuning budget, and retaining only two language blocks still recovers baseline-level performance. These results suggest that current VLA benchmarks may exert limited pressure on deep language grounding and compositional instruction understanding, and that future VLA architectures should allocate capacity more deliberately across language, vision, and action components. The code is available at https://github.com/s1ghhh/VLADrop.