Regarder avant d'agir : Améliorer les représentations des fondations visuelles pour les modèles vision-langage-action

Résumé

Les modèles Vision-Langage-Action (VLA) ont récemment émergé comme un paradigme prometteur pour la manipulation robotique, où la prédiction d'actions fiables dépend de manière critique de l'interprétation et de l'intégration précises des observations visuelles conditionnées par des instructions langagières. Bien que des travaux récents aient cherché à améliorer les capacités visuelles des modèles VLA, la plupart des approches traitent le modèle de langage de base comme une boîte noire, offrant une compréhension limitée de la manière dont l'information visuelle est ancrée dans la génération d'actions. Par conséquent, nous réalisons une analyse systématique de plusieurs modèles VLA à travers différents paradigmes de génération d'actions et observons que la sensibilité aux tokens visuels diminue progressivement dans les couches plus profondes lors de la génération d'actions. Motivés par cette observation, nous proposons DeepVision-VLA, construit sur un cadre Vision-Langage Mixture-of-Transformers (VL-MoT). Ce cadre permet une attention partagée entre le modèle de fondation visuelle et le modèle de base VLA, injectant des caractéristiques visuelles multi-niveaux de l'expert visuel dans les couches plus profondes du modèle de base VLA pour améliorer les représentations visuelles en vue d'une manipulation précise et complexe. De plus, nous introduisons l'Élagage Visuel Guidé par l'Action (AGVP), qui exploite l'attention des couches superficielles pour élaguer les tokens visuels non pertinents tout en préservant ceux liés à la tâche, renforçant ainsi les indices visuels critiques pour la manipulation avec une surcharge computationnelle minimale. DeepVision-VLA surpasse les méthodes de l'état de l'art précédentes de 9,0 % et 7,5 % sur les tâches simulées et réelles, respectivement, offrant de nouvelles perspectives pour la conception de modèles VLA visuellement améliorés.

English

Vision-Language-Action (VLA) models have recently emerged as a promising paradigm for robotic manipulation, in which reliable action prediction critically depends on accurately interpreting and integrating visual observations conditioned on language instructions. Although recent works have sought to enhance the visual capabilities of VLA models, most approaches treat the LLM backbone as a black box, providing limited insight into how visual information is grounded into action generation. Therefore, we perform a systematic analysis of multiple VLA models across different action-generation paradigms and observe that sensitivity to visual tokens progressively decreases in deeper layers during action generation. Motivated by this observation, we propose DeepVision-VLA, built on a Vision-Language Mixture-of-Transformers (VL-MoT) framework. This framework enables shared attention between the vision foundation model and the VLA backbone, injecting multi-level visual features from the vision expert into deeper layers of the VLA backbone to enhance visual representations for precise and complex manipulation. In addition, we introduce Action-Guided Visual Pruning (AGVP), which leverages shallow-layer attention to prune irrelevant visual tokens while preserving task-relevant ones, reinforcing critical visual cues for manipulation with minimal computational overhead. DeepVision-VLA outperforms prior state-of-the-art methods by 9.0\% and 7.5\% on simulated and real-world tasks, respectively, providing new insights for the design of visually enhanced VLA models.

Regarder avant d'agir : Améliorer les représentations des fondations visuelles pour les modèles vision-langage-action

Look Before Acting: Enhancing Vision Foundation Representations for Vision-Language-Action Models

Résumé

Support