Abandono-Luego-Recuperación: ¿Qué tan redundantes son los modelos de Visión-Lenguaje-Acción?

Resumen

Los modelos de Visión-Lenguaje-Acción (VLA) permiten la manipulación robótica guiada por instrucciones, pero heredan modelos de lenguaje de gran tamaño de los VLM preentrenados, cuya capacidad supera ampliamente lo necesario para instrucciones robóticas breves. Esto plantea una pregunta fundamental: ¿qué parte de un modelo VLA es realmente necesaria para el control en bucle cerrado? En este trabajo, estudiamos la redundancia arquitectónica en modelos VLA mediante la eliminación de bloques transformadores como intervención controlada. Introducimos Eliminar- luego-Recuperar (DTR, por sus siglas en inglés), un protocolo de análisis que elimina bloques seleccionados de un modelo VLA preentrenado y luego ajusta finamente el modelo resultante para medir si la capacidad eliminada era necesaria para el control descendente. Para hacer esta intervención confiable, proponemos GateProbe, una métrica de sensibilidad virtual de puerta única que clasifica los bloques según su contribución a la pérdida de acción descendente. A través de múltiples arquitecturas VLA, puntos de referencia de manipulación e incluso escenarios industriales con robots reales, encontramos una fuerte asimetría en la capacidad de recuperación posterior a la eliminación: \textit{los modelos de lenguaje de gran tamaño son altamente redundantes para tareas estándar de manipulación robótica, mientras que las vías visuales y de acción son sustancialmente menos tolerantes a la eliminación}. En LIBERO, eliminar la mitad de los bloques de LLM incluso mejora OpenVLA-OFT del 95.0% al 98.3% bajo el mismo presupuesto de ajuste fino descendente, y retener solo dos bloques de lenguaje aún recupera el rendimiento de referencia. Estos resultados sugieren que los puntos de referencia actuales de VLA pueden ejercer una presión limitada sobre el anclaje lingüístico profundo y la comprensión de instrucciones composicionales, y que las futuras arquitecturas VLA deberían asignar capacidad de manera más deliberada entre los componentes de lenguaje, visión y acción. El código está disponible en https://github.com/s1ghhh/VLADrop.

English

Vision-Language-Action (VLA) models enable instruction-driven robotic manipulation, but they inherit oversized language backbones from pretrained VLMs whose capacity far exceeds what is needed for short robotic instructions. This raises a basic question: how much of a VLA model is actually necessary for closed-loop control? In this work, we study architectural redundancy in VLA models by using transformer block removal as a controlled intervention. We introduce Drop-Then-Recovery (DTR), an analysis protocol that removes selected blocks from a pretrained VLA model and then fine-tunes the resulting model to measure whether the removed capacity was necessary for downstream control. To make this intervention reliable, we propose GateProbe, a one-shot virtual-gate sensitivity metric that ranks blocks by their contribution to the downstream action loss. Across multiple VLA architectures, manipulation benchmarks and even real-robot industrial scenarios, we find a strong asymmetry in post-removal recoverability: \textit{language backbones are highly redundant for standard robotic manipulation tasks, whereas vision and action pathways are substantially less tolerant to removal}. On LIBERO, removing half of the LLM blocks even improves OpenVLA-OFT from 95.0% to 98.3% under the same downstream fine-tuning budget, and retaining only two language blocks still recovers baseline-level performance. These results suggest that current VLA benchmarks may exert limited pressure on deep language grounding and compositional instruction understanding, and that future VLA architectures should allocate capacity more deliberately across language, vision, and action components. The code is available at https://github.com/s1ghhh/VLADrop.