VLA-Adapter: Un Paradigma Eficaz para Modelos de Visión-Lenguaje-Acción a Escala Reducida

Resumen

Los modelos Visión-Lenguaje-Acción (VLA, por sus siglas en inglés) suelen cerrar la brecha entre los espacios perceptuales y de acción mediante el preentrenamiento de un modelo de Visión-Lenguaje (VLM) a gran escala con datos robóticos. Aunque este enfoque mejora significativamente el rendimiento, también conlleva costos de entrenamiento considerables. En este artículo, investigamos cómo conectar de manera efectiva las representaciones de visión-lenguaje (VL) con la acción (A). Presentamos VLA-Adapter, un paradigma novedoso diseñado para reducir la dependencia de los modelos VLA en VLMs a gran escala y en extensos procesos de preentrenamiento. Para ello, primero analizamos sistemáticamente la efectividad de diversas condiciones VL y presentamos hallazgos clave sobre qué condiciones son esenciales para conectar los espacios perceptuales y de acción. Basándonos en estas conclusiones, proponemos un módulo de Política ligero con Atención de Puente, que inyecta automáticamente la condición óptima en el espacio de acción. De esta manera, nuestro método logra un alto rendimiento utilizando únicamente un backbone de 0.5 mil millones de parámetros, sin necesidad de preentrenamiento con datos robóticos. Experimentos exhaustivos en benchmarks robóticos tanto simulados como del mundo real demuestran que VLA-Adapter no solo alcanza un rendimiento de vanguardia, sino que también ofrece la velocidad de inferencia más rápida reportada hasta la fecha. Además, gracias al paradigma de conexión avanzado propuesto, VLA-Adapter permite entrenar un potente modelo VLA en solo 8 horas utilizando una única GPU de consumo, reduciendo significativamente la barrera para la implementación del modelo VLA. Página del proyecto: https://vla-adapter.github.io/.

English

Vision-Language-Action (VLA) models typically bridge the gap between perceptual and action spaces by pre-training a large-scale Vision-Language Model (VLM) on robotic data. While this approach greatly enhances performance, it also incurs significant training costs. In this paper, we investigate how to effectively bridge vision-language (VL) representations to action (A). We introduce VLA-Adapter, a novel paradigm designed to reduce the reliance of VLA models on large-scale VLMs and extensive pre-training. To this end, we first systematically analyze the effectiveness of various VL conditions and present key findings on which conditions are essential for bridging perception and action spaces. Based on these insights, we propose a lightweight Policy module with Bridge Attention, which autonomously injects the optimal condition into the action space. In this way, our method achieves high performance using only a 0.5B-parameter backbone, without any robotic data pre-training. Extensive experiments on both simulated and real-world robotic benchmarks demonstrate that VLA-Adapter not only achieves state-of-the-art level performance, but also offers the fast inference speed reported to date. Furthermore, thanks to the proposed advanced bridging paradigm, VLA-Adapter enables the training of a powerful VLA model in just 8 hours on a single consumer-grade GPU, greatly lowering the barrier to deploying the VLA model. Project page: https://vla-adapter.github.io/.

VLA-Adapter: Un Paradigma Eficaz para Modelos de Visión-Lenguaje-Acción a Escala Reducida

VLA-Adapter: An Effective Paradigm for Tiny-Scale Vision-Language-Action Model

Resumen

Support