Drop-en-Herstel: Hoe redundant zijn visie-taal-actiemodellen?

Samenvatting

Visie-Taal-Actie (VTA)-modellen maken instructiegestuurde robotmanipulatie mogelijk, maar erven overmatig grote taalbackbones van voorgetrainde VTA-modellen waarvan de capaciteit verreweg groter is dan nodig voor korte robotinstructies. Dit roept een fundamentele vraag op: hoeveel van een VTA-model is daadwerkelijk noodzakelijk voor closed-loop-regeling? In dit werk bestuderen we architectonische redundantie in VTA-modellen door het verwijderen van transformatorblokken als gecontroleerde interventie. We introduceren Drop-Then-Recovery (DTR), een analyseprotocol dat geselecteerde blokken uit een voorgetraind VTA-model verwijdert en vervolgens het resulterende model finetunet om te meten of de verwijderde capaciteit noodzakelijk was voor downstream-regeling. Om deze interventie betrouwbaar te maken, stellen we GateProbe voor, een eenmalige virtuele-poortgevoeligheidsmetriek die blokken rangschikt op basis van hun bijdrage aan het downstream-actieverlies. Bij verschillende VTA-architecturen, manipulatierichtlijnen en zelfs echte robots in industriële scenario's vinden we een sterke asymmetrie in herstelbaarheid na verwijdering: \textit{taalbackbones zijn zeer redundant voor standaard robotmanipulatietaken, terwijl visie- en actieroutes aanzienlijk minder tolerant zijn voor verwijdering}. Op LIBERO verbetert het verwijderen van de helft van de LLM-blokken zelfs OpenVLA-OFT van 95,0% naar 98,3% onder hetzelfde downstream-finetuningbudget, en het behouden van slechts twee taalblokken herstelt nog steeds de prestaties op basisniveau. Deze resultaten suggereren dat huidige VTA-richtlijnen beperkte druk uitoefenen op diepe taalverankering en compositioneel instructiebegrip, en dat toekomstige VTA-architecturen capaciteit meer doordacht moeten verdelen over taal-, visie- en actiecomponenten. De code is beschikbaar op https://github.com/s1ghhh/VLADrop.

English

Vision-Language-Action (VLA) models enable instruction-driven robotic manipulation, but they inherit oversized language backbones from pretrained VLMs whose capacity far exceeds what is needed for short robotic instructions. This raises a basic question: how much of a VLA model is actually necessary for closed-loop control? In this work, we study architectural redundancy in VLA models by using transformer block removal as a controlled intervention. We introduce Drop-Then-Recovery (DTR), an analysis protocol that removes selected blocks from a pretrained VLA model and then fine-tunes the resulting model to measure whether the removed capacity was necessary for downstream control. To make this intervention reliable, we propose GateProbe, a one-shot virtual-gate sensitivity metric that ranks blocks by their contribution to the downstream action loss. Across multiple VLA architectures, manipulation benchmarks and even real-robot industrial scenarios, we find a strong asymmetry in post-removal recoverability: \textit{language backbones are highly redundant for standard robotic manipulation tasks, whereas vision and action pathways are substantially less tolerant to removal}. On LIBERO, removing half of the LLM blocks even improves OpenVLA-OFT from 95.0% to 98.3% under the same downstream fine-tuning budget, and retaining only two language blocks still recovers baseline-level performance. These results suggest that current VLA benchmarks may exert limited pressure on deep language grounding and compositional instruction understanding, and that future VLA architectures should allocate capacity more deliberately across language, vision, and action components. The code is available at https://github.com/s1ghhh/VLADrop.