BitVLA: Modelos Visión-Lenguaje-Acción de 1 bit para Manipulación Robótica

BitVLA: 1-bit Vision-Language-Action Models for Robotics Manipulation

June 9, 2025

Autores: Hongyu Wang, Chuyan Xiong, Ruiping Wang, Xilin Chen

cs.AI

Resumen

Los modelos Visión-Lenguaje-Acción (VLA) han demostrado capacidades impresionantes en una amplia gama de tareas de manipulación robótica. Sin embargo, su creciente tamaño de modelo plantea desafíos significativos para su implementación en sistemas robóticos con recursos limitados. Si bien el preentrenamiento de 1 bit ha demostrado ser efectivo para mejorar la eficiencia de inferencia de modelos de lenguaje grandes con una pérdida mínima de rendimiento, su aplicación a modelos VLA sigue siendo poco explorada. En este trabajo, presentamos BitVLA, el primer modelo VLA de 1 bit para manipulación robótica, en el que cada parámetro es ternario, es decir, {-1, 0, 1}. Para reducir aún más la huella de memoria del codificador de visión, proponemos una estrategia de entrenamiento consciente de la destilación que comprime el codificador de precisión completa a pesos de 1.58 bits. Durante este proceso, un codificador de precisión completa sirve como modelo maestro para alinear mejor las representaciones latentes. A pesar de la falta de preentrenamiento robótico a gran escala, BitVLA logra un rendimiento comparable al modelo de última generación OpenVLA-OFT con cuantización post-entrenamiento de 4 bits en el benchmark LIBERO, mientras consume solo el 29.8% de la memoria. Estos resultados resaltan el potencial de BitVLA para su implementación en dispositivos de borde con memoria limitada. Publicamos el código y los pesos del modelo en https://github.com/ustcwhy/BitVLA.

English

Vision-Language-Action (VLA) models have shown impressive capabilities across a wide range of robotics manipulation tasks. However, their growing model size poses significant challenges for deployment on resource-constrained robotic systems. While 1-bit pretraining has proven effective for enhancing the inference efficiency of large language models with minimal performance loss, its application to VLA models remains underexplored. In this work, we present BitVLA, the first 1-bit VLA model for robotics manipulation, in which every parameter is ternary, i.e., {-1, 0, 1}. To further reduce the memory footprint of the vision encoder, we propose the distillation-aware training strategy that compresses the full-precision encoder to 1.58-bit weights. During this process, a full-precision encoder serves as a teacher model to better align latent representations. Despite the lack of large-scale robotics pretraining, BitVLA achieves performance comparable to the state-of-the-art model OpenVLA-OFT with 4-bit post-training quantization on the LIBERO benchmark, while consuming only 29.8% of the memory. These results highlight BitVLA's promise for deployment on memory-constrained edge devices. We release the code and model weights in https://github.com/ustcwhy/BitVLA.