Kijk voor je handelt: Verbetering van visuele basisrepresentaties voor visie-taal-actie-modellen

Samenvatting

Vision-Language-Action (VLA)-modellen zijn recent naar voren gekomen als een veelbelovend paradigma voor robotmanipulatie, waarbij betrouwbare actievoorspelling kritiek afhangt van het nauwkeurig interpreteren en integreren van visuele waarnemingen, gekoppeld aan taalinstellingen. Hoewel recente werken de visuele capaciteiten van VLA-modellen hebben proberen te verbeteren, behandelen de meeste benaderingen de LLM-backbone als een black box, wat beperkt inzicht biedt in hoe visuele informatie wordt verankerd in actiegeneratie. Daarom voeren we een systematische analyse uit van meerdere VLA-modellen binnen verschillende actiegeneratieparadigma's en observeren we dat de gevoeligheid voor visuele tokens geleidelijk afneemt in diepere lagen tijdens actiegeneratie. Gemotiveerd door deze observatie stellen we DeepVision-VLA voor, gebouwd op een Vision-Language Mixture-of-Transformers (VL-MoT)-raamwerk. Dit raamwerk maakt gedeelde aandacht mogelijk tussen het visuele foundation-model en de VLA-backbone, waarbij multilevel visuele kenmerken van de visie-expert worden geïnjecteerd in diepere lagen van de VLA-backbone om visuele representaties te versterken voor precieze en complexe manipulatie. Daarnaast introduceren we Action-Guided Visual Pruning (AGVP), dat aandacht uit ondiepe lagen benut om irrelevante visuele tokens te verwijderen terwijl taakrelevante behouden blijven, waardoor kritieke visuele aanwijzingen voor manipulatie worden versterkt met minimale rekenkosten. DeepVision-VLA overtreft eerdere state-of-the-art-methodes met respectievelijk 9,0% en 7,5% op gesimuleerde en real-world taken, en biedt nieuwe inzichten voor het ontwerp van visueel verbeterde VLA-modellen.

English

Vision-Language-Action (VLA) models have recently emerged as a promising paradigm for robotic manipulation, in which reliable action prediction critically depends on accurately interpreting and integrating visual observations conditioned on language instructions. Although recent works have sought to enhance the visual capabilities of VLA models, most approaches treat the LLM backbone as a black box, providing limited insight into how visual information is grounded into action generation. Therefore, we perform a systematic analysis of multiple VLA models across different action-generation paradigms and observe that sensitivity to visual tokens progressively decreases in deeper layers during action generation. Motivated by this observation, we propose DeepVision-VLA, built on a Vision-Language Mixture-of-Transformers (VL-MoT) framework. This framework enables shared attention between the vision foundation model and the VLA backbone, injecting multi-level visual features from the vision expert into deeper layers of the VLA backbone to enhance visual representations for precise and complex manipulation. In addition, we introduce Action-Guided Visual Pruning (AGVP), which leverages shallow-layer attention to prune irrelevant visual tokens while preserving task-relevant ones, reinforcing critical visual cues for manipulation with minimal computational overhead. DeepVision-VLA outperforms prior state-of-the-art methods by 9.0\% and 7.5\% on simulated and real-world tasks, respectively, providing new insights for the design of visually enhanced VLA models.

Kijk voor je handelt: Verbetering van visuele basisrepresentaties voor visie-taal-actie-modellen

Look Before Acting: Enhancing Vision Foundation Representations for Vision-Language-Action Models

Samenvatting

Support