Abandon puis récupération : dans quelle mesure les modèles vision-langage-action sont-ils redondants ?

Résumé

Les modèles Vision-Langage-Action (VLA) permettent une manipulation robotique guidée par des instructions, mais ils héritent de backbones linguistiques surdimensionnés issus de VLM pré-entraînés, dont la capacité dépasse largement ce qui est nécessaire pour de courtes instructions robotiques. Cela soulève une question fondamentale : quelle part d’un modèle VLA est réellement nécessaire pour un contrôle en boucle fermée ? Dans ce travail, nous étudions la redondance architecturale des modèles VLA en utilisant la suppression de blocs de transformeurs comme intervention contrôlée. Nous introduisons Drop-Then-Recovery (DTR), un protocole d’analyse qui supprime des blocs sélectionnés d’un modèle VLA pré-entraîné, puis affine le modèle résultant pour mesurer si la capacité supprimée était nécessaire au contrôle en aval. Pour rendre cette intervention fiable, nous proposons GateProbe, une métrique de sensibilité virtuelle à un seul passage qui classe les blocs selon leur contribution à la perte d’action en aval. Sur plusieurs architectures VLA, benchmarks de manipulation et même des scénarios industriels avec robots réels, nous observons une forte asymétrie dans la récupérabilité après suppression : les backbones linguistiques sont hautement redondants pour les tâches de manipulation robotique standard, tandis que les voies visuelles et d’action tolèrent beaucoup moins bien la suppression. Sur LIBERO, supprimer la moitié des blocs LLM améliore même OpenVLA-OFT de 95,0 % à 98,3 % avec le même budget d’affinage en aval, et ne conserver que deux blocs linguistiques permet encore de retrouver les performances de référence. Ces résultats suggèrent que les benchmarks VLA actuels exercent une pression limitée sur l’ancrage linguistique profond et la compréhension compositionnelle des instructions, et que les futures architectures VLA devraient répartir la capacité de manière plus délibérée entre les composantes linguistique, visuelle et d’action. Le code est disponible à l’adresse https://github.com/s1ghhh/VLADrop.

English

Vision-Language-Action (VLA) models enable instruction-driven robotic manipulation, but they inherit oversized language backbones from pretrained VLMs whose capacity far exceeds what is needed for short robotic instructions. This raises a basic question: how much of a VLA model is actually necessary for closed-loop control? In this work, we study architectural redundancy in VLA models by using transformer block removal as a controlled intervention. We introduce Drop-Then-Recovery (DTR), an analysis protocol that removes selected blocks from a pretrained VLA model and then fine-tunes the resulting model to measure whether the removed capacity was necessary for downstream control. To make this intervention reliable, we propose GateProbe, a one-shot virtual-gate sensitivity metric that ranks blocks by their contribution to the downstream action loss. Across multiple VLA architectures, manipulation benchmarks and even real-robot industrial scenarios, we find a strong asymmetry in post-removal recoverability: \textit{language backbones are highly redundant for standard robotic manipulation tasks, whereas vision and action pathways are substantially less tolerant to removal}. On LIBERO, removing half of the LLM blocks even improves OpenVLA-OFT from 95.0% to 98.3% under the same downstream fine-tuning budget, and retaining only two language blocks still recovers baseline-level performance. These results suggest that current VLA benchmarks may exert limited pressure on deep language grounding and compositional instruction understanding, and that future VLA architectures should allocate capacity more deliberately across language, vision, and action components. The code is available at https://github.com/s1ghhh/VLADrop.