BitVLA: 1-bit Visie-Taal-Actie Modellen voor Robotica Manipulatie

BitVLA: 1-bit Vision-Language-Action Models for Robotics Manipulation

June 9, 2025

Auteurs: Hongyu Wang, Chuyan Xiong, Ruiping Wang, Xilin Chen

cs.AI

Samenvatting

Vision-Language-Action (VLA)-modellen hebben indrukwekkende prestaties getoond bij een breed scala aan robotmanipulatietaken. Hun groeiende modelgrootte brengt echter aanzienlijke uitdagingen met zich mee voor implementatie op robotische systemen met beperkte middelen. Hoewel 1-bit voorafgaande training effectief is gebleken voor het verbeteren van de inferentie-efficiëntie van grote taalmodelen met minimaal prestatieverlies, blijft de toepassing ervan op VLA-modellen onderbelicht. In dit werk presenteren we BitVLA, het eerste 1-bit VLA-model voor robotmanipulatie, waarin elke parameter ternair is, d.w.z. {-1, 0, 1}. Om de geheugenvoetafdruk van de vision-encoder verder te verkleinen, stellen we de distillatiebewuste trainingsstrategie voor, die de encoder met volledige precisie comprimeert tot 1.58-bit gewichten. Tijdens dit proces fungeert een encoder met volledige precisie als een leraarmodel om latente representaties beter uit te lijnen. Ondanks het ontbreken van grootschalige robotica-voorafgaande training, behaalt BitVLA prestaties die vergelijkbaar zijn met het state-of-the-art model OpenVLA-OFT met 4-bit post-training kwantisatie op de LIBERO-benchmark, terwijl slechts 29,8% van het geheugen wordt verbruikt. Deze resultaten onderstrepen de belofte van BitVLA voor implementatie op geheugenbeperkte edge-apparaten. We hebben de code en modelgewichten vrijgegeven op https://github.com/ustcwhy/BitVLA.

English

Vision-Language-Action (VLA) models have shown impressive capabilities across a wide range of robotics manipulation tasks. However, their growing model size poses significant challenges for deployment on resource-constrained robotic systems. While 1-bit pretraining has proven effective for enhancing the inference efficiency of large language models with minimal performance loss, its application to VLA models remains underexplored. In this work, we present BitVLA, the first 1-bit VLA model for robotics manipulation, in which every parameter is ternary, i.e., {-1, 0, 1}. To further reduce the memory footprint of the vision encoder, we propose the distillation-aware training strategy that compresses the full-precision encoder to 1.58-bit weights. During this process, a full-precision encoder serves as a teacher model to better align latent representations. Despite the lack of large-scale robotics pretraining, BitVLA achieves performance comparable to the state-of-the-art model OpenVLA-OFT with 4-bit post-training quantization on the LIBERO benchmark, while consuming only 29.8% of the memory. These results highlight BitVLA's promise for deployment on memory-constrained edge devices. We release the code and model weights in https://github.com/ustcwhy/BitVLA.