BitVLA: 1-Bit Vision-Language-Aktionsmodelle für die Robotermanipulation

BitVLA: 1-bit Vision-Language-Action Models for Robotics Manipulation

June 9, 2025

Autoren: Hongyu Wang, Chuyan Xiong, Ruiping Wang, Xilin Chen

cs.AI

Zusammenfassung

Vision-Language-Action (VLA)-Modelle haben beeindruckende Fähigkeiten bei einer Vielzahl von Robotermanipulationsaufgaben gezeigt. Ihre zunehmende Modellgröße stellt jedoch erhebliche Herausforderungen für den Einsatz auf ressourcenbeschränkten Robotersystemen dar. Während sich das 1-Bit-Pretraining als effektiv erwiesen hat, um die Inferenzeffizienz großer Sprachmodelle bei minimalem Leistungsverlust zu verbessern, ist seine Anwendung auf VLA-Modelle noch weitgehend unerforscht. In dieser Arbeit präsentieren wir BitVLA, das erste 1-Bit-VLA-Modell für die Robotermanipulation, bei dem jeder Parameter ternär ist, d.h. {-1, 0, 1}. Um den Speicherbedarf des Vision-Encoders weiter zu reduzieren, schlagen wir die distilationsbewusste Trainingsstrategie vor, die den Encoder mit voller Präzision auf 1,58-Bit-Gewichte komprimiert. Während dieses Prozesses dient ein Encoder mit voller Präzision als Lehrer-Modell, um latente Repräsentationen besser auszurichten. Trotz des Mangels an groß angelegtem Robotik-Pretraining erreicht BitVLA eine Leistung, die mit dem state-of-the-art Modell OpenVLA-OFT mit 4-Bit-Post-Training-Quantisierung auf dem LIBERO-Benchmark vergleichbar ist, während nur 29,8 % des Speichers verbraucht werden. Diese Ergebnisse unterstreichen das Potenzial von BitVLA für den Einsatz auf speicherbeschränkten Edge-Geräten. Wir veröffentlichen den Code und die Modellgewichte unter https://github.com/ustcwhy/BitVLA.

English

Vision-Language-Action (VLA) models have shown impressive capabilities across a wide range of robotics manipulation tasks. However, their growing model size poses significant challenges for deployment on resource-constrained robotic systems. While 1-bit pretraining has proven effective for enhancing the inference efficiency of large language models with minimal performance loss, its application to VLA models remains underexplored. In this work, we present BitVLA, the first 1-bit VLA model for robotics manipulation, in which every parameter is ternary, i.e., {-1, 0, 1}. To further reduce the memory footprint of the vision encoder, we propose the distillation-aware training strategy that compresses the full-precision encoder to 1.58-bit weights. During this process, a full-precision encoder serves as a teacher model to better align latent representations. Despite the lack of large-scale robotics pretraining, BitVLA achieves performance comparable to the state-of-the-art model OpenVLA-OFT with 4-bit post-training quantization on the LIBERO benchmark, while consuming only 29.8% of the memory. These results highlight BitVLA's promise for deployment on memory-constrained edge devices. We release the code and model weights in https://github.com/ustcwhy/BitVLA.