VLA-Adapter: Een Effectief Paradigma voor Kleinschalige Vision-Language-Action Modellen

VLA-Adapter: An Effective Paradigm for Tiny-Scale Vision-Language-Action Model

September 11, 2025

Auteurs: Yihao Wang, Pengxiang Ding, Lingxiao Li, Can Cui, Zirui Ge, Xinyang Tong, Wenxuan Song, Han Zhao, Wei Zhao, Pengxu Hou, Siteng Huang, Yifan Tang, Wenhui Wang, Ru Zhang, Jianyi Liu, Donglin Wang

cs.AI

Samenvatting

Vision-Language-Action (VLA)-modellen overbruggen doorgaans de kloof tussen perceptuele en actieruimtes door een grootschalig Vision-Language Model (VLM) voor te trainen op robotgegevens. Hoewel deze aanpak de prestaties aanzienlijk verbetert, brengt het ook aanzienlijke trainingskosten met zich mee. In dit artikel onderzoeken we hoe we visie-taal (VL)-representaties effectief kunnen verbinden met actie (A). We introduceren VLA-Adapter, een nieuw paradigma dat is ontworpen om de afhankelijkheid van VLA-modellen van grootschalige VLM's en uitgebreide voorafgaande training te verminderen. Hiertoe analyseren we eerst systematisch de effectiviteit van verschillende VL-condities en presenteren we belangrijke bevindingen over welke condities essentieel zijn voor het overbruggen van perceptie- en actieruimtes. Op basis van deze inzichten stellen we een lichtgewicht Policy-module voor met Bridge Attention, die autonoom de optimale conditie in de actieruimte injecteert. Op deze manier bereikt onze methode hoge prestaties met slechts een 0,5B-parameter backbone, zonder enige voorafgaande training op robotgegevens. Uitgebreide experimenten op zowel gesimuleerde als real-world robotbenchmarks tonen aan dat VLA-Adapter niet alleen state-of-the-art prestaties bereikt, maar ook de snelste inferentiesnelheid tot nu toe biedt. Bovendien maakt VLA-Adapter, dankzij het voorgestelde geavanceerde overbruggingsparadigma, het mogelijk om een krachtig VLA-model in slechts 8 uur te trainen op een enkele consumenten-GPU, waardoor de drempel voor het implementeren van het VLA-model aanzienlijk wordt verlaagd. Projectpagina: https://vla-adapter.github.io/.

English

Vision-Language-Action (VLA) models typically bridge the gap between perceptual and action spaces by pre-training a large-scale Vision-Language Model (VLM) on robotic data. While this approach greatly enhances performance, it also incurs significant training costs. In this paper, we investigate how to effectively bridge vision-language (VL) representations to action (A). We introduce VLA-Adapter, a novel paradigm designed to reduce the reliance of VLA models on large-scale VLMs and extensive pre-training. To this end, we first systematically analyze the effectiveness of various VL conditions and present key findings on which conditions are essential for bridging perception and action spaces. Based on these insights, we propose a lightweight Policy module with Bridge Attention, which autonomously injects the optimal condition into the action space. In this way, our method achieves high performance using only a 0.5B-parameter backbone, without any robotic data pre-training. Extensive experiments on both simulated and real-world robotic benchmarks demonstrate that VLA-Adapter not only achieves state-of-the-art level performance, but also offers the fast inference speed reported to date. Furthermore, thanks to the proposed advanced bridging paradigm, VLA-Adapter enables the training of a powerful VLA model in just 8 hours on a single consumer-grade GPU, greatly lowering the barrier to deploying the VLA model. Project page: https://vla-adapter.github.io/.