Sturz-dann-Erholung: Wie redundant sind Vision-Sprache-Aktions-Modelle?

Zusammenfassung

Vision-Language-Action (VLA) Modelle ermöglichen befehlsgesteuerte Roboter-Manipulation, erben jedoch überdimensionierte Sprach-Backbones von vortrainierten VLMs, deren Kapazität weit über das für kurze Roboterbefehle Notwendige hinausgeht. Dies wirft eine grundlegende Frage auf: Wie viel eines VLA-Modells ist tatsächlich für die geschlossene Regelung erforderlich? In dieser Arbeit untersuchen wir die architektonische Redundanz von VLA-Modellen, indem wir das Entfernen von Transformer-Blöcken als kontrollierte Intervention verwenden. Wir führen Drop-Then-Recovery (DTR) ein, ein Analyseprotokoll, das ausgewählte Blöcke aus einem vortrainierten VLA-Modell entfernt und das resultierende Modell dann feinabstimmt, um zu messen, ob die entfernte Kapazität für die nachgelagerte Steuerung notwendig war. Um diese Intervention zuverlässig zu machen, schlagen wir GateProbe vor, eine One-Shot-Virtual-Gate-Sensitivitätsmetrik, die Blöcke nach ihrem Beitrag zum nachgelagerten Aktionsverlust bewertet. Über mehrere VLA-Architekturen, Manipulationsbenchmarks und sogar reale Roboterszenarien in der Industrie hinweg stellen wir eine starke Asymmetrie in der Wiederherstellbarkeit nach Entfernung fest: Sprach-Backbones sind für Standardaufgaben der Roboter-Manipulation stark redundant, während visuelle und Aktionspfade wesentlich weniger tolerant gegenüber Entfernung sind. Auf LIBERO verbessert das Entfernen der Hälfte der LLM-Blöcke sogar OpenVLA-OFT von 95,0 % auf 98,3 % unter demselben nachgelagerten Feinabstimmungsbudget, und das Beibehalten von nur zwei Sprachblöcken stellt immer noch die Ausgangsleistung wieder her. Diese Ergebnisse deuten darauf hin, dass aktuelle VLA-Benchmarks möglicherweise nur begrenzten Druck auf tiefe Sprachverankerung und kompositionelles Instruktionsverständnis ausüben und dass zukünftige VLA-Architekturen die Kapazität gezielter auf Sprach-, visuelle und Aktionskomponenten verteilen sollten. Der Code ist verfügbar unter https://github.com/s1ghhh/VLADrop.

English

Vision-Language-Action (VLA) models enable instruction-driven robotic manipulation, but they inherit oversized language backbones from pretrained VLMs whose capacity far exceeds what is needed for short robotic instructions. This raises a basic question: how much of a VLA model is actually necessary for closed-loop control? In this work, we study architectural redundancy in VLA models by using transformer block removal as a controlled intervention. We introduce Drop-Then-Recovery (DTR), an analysis protocol that removes selected blocks from a pretrained VLA model and then fine-tunes the resulting model to measure whether the removed capacity was necessary for downstream control. To make this intervention reliable, we propose GateProbe, a one-shot virtual-gate sensitivity metric that ranks blocks by their contribution to the downstream action loss. Across multiple VLA architectures, manipulation benchmarks and even real-robot industrial scenarios, we find a strong asymmetry in post-removal recoverability: \textit{language backbones are highly redundant for standard robotic manipulation tasks, whereas vision and action pathways are substantially less tolerant to removal}. On LIBERO, removing half of the LLM blocks even improves OpenVLA-OFT from 95.0% to 98.3% under the same downstream fine-tuning budget, and retaining only two language blocks still recovers baseline-level performance. These results suggest that current VLA benchmarks may exert limited pressure on deep language grounding and compositional instruction understanding, and that future VLA architectures should allocate capacity more deliberately across language, vision, and action components. The code is available at https://github.com/s1ghhh/VLADrop.