VLA-Adapter: Эффективная парадигма для миниатюрных моделей "Видение-Язык-Действие"

VLA-Adapter: An Effective Paradigm for Tiny-Scale Vision-Language-Action Model

September 11, 2025

Авторы: Yihao Wang, Pengxiang Ding, Lingxiao Li, Can Cui, Zirui Ge, Xinyang Tong, Wenxuan Song, Han Zhao, Wei Zhao, Pengxu Hou, Siteng Huang, Yifan Tang, Wenhui Wang, Ru Zhang, Jianyi Liu, Donglin Wang

cs.AI

Аннотация

Модели Vision-Language-Action (VLA) обычно устраняют разрыв между перцептивным и пространством действий путем предварительного обучения крупномасштабной Vision-Language Model (VLM) на роботизированных данных. Хотя такой подход значительно повышает производительность, он также влечет за собой существенные затраты на обучение. В данной статье мы исследуем, как эффективно связать представления vision-language (VL) с действиями (A). Мы представляем VLA-Adapter — новую парадигму, разработанную для снижения зависимости моделей VLA от крупномасштабных VLM и длительного предварительного обучения. Для этого мы сначала систематически анализируем эффективность различных условий VL и представляем ключевые выводы о том, какие условия необходимы для связи перцептивного пространства и пространства действий. На основе этих инсайтов мы предлагаем легковесный модуль Policy с Bridge Attention, который автономно внедряет оптимальное условие в пространство действий. Таким образом, наш метод достигает высокой производительности, используя только основу с 0,5 миллиардами параметров, без какого-либо предварительного обучения на роботизированных данных. Многочисленные эксперименты на симуляционных и реальных роботизированных тестах демонстрируют, что VLA-Adapter не только достигает уровня производительности, соответствующего современным стандартам, но и обеспечивает самую высокую скорость вывода на сегодняшний день. Более того, благодаря предложенной передовой парадигме связывания, VLA-Adapter позволяет обучить мощную модель VLA всего за 8 часов на одном потребительском GPU, значительно снижая барьер для развертывания модели VLA. Страница проекта: https://vla-adapter.github.io/.

English

Vision-Language-Action (VLA) models typically bridge the gap between perceptual and action spaces by pre-training a large-scale Vision-Language Model (VLM) on robotic data. While this approach greatly enhances performance, it also incurs significant training costs. In this paper, we investigate how to effectively bridge vision-language (VL) representations to action (A). We introduce VLA-Adapter, a novel paradigm designed to reduce the reliance of VLA models on large-scale VLMs and extensive pre-training. To this end, we first systematically analyze the effectiveness of various VL conditions and present key findings on which conditions are essential for bridging perception and action spaces. Based on these insights, we propose a lightweight Policy module with Bridge Attention, which autonomously injects the optimal condition into the action space. In this way, our method achieves high performance using only a 0.5B-parameter backbone, without any robotic data pre-training. Extensive experiments on both simulated and real-world robotic benchmarks demonstrate that VLA-Adapter not only achieves state-of-the-art level performance, but also offers the fast inference speed reported to date. Furthermore, thanks to the proposed advanced bridging paradigm, VLA-Adapter enables the training of a powerful VLA model in just 8 hours on a single consumer-grade GPU, greatly lowering the barrier to deploying the VLA model. Project page: https://vla-adapter.github.io/.