BitVLA: Modelos Visão-Linguagem-Ação de 1 bit para Manipulação Robótica

BitVLA: 1-bit Vision-Language-Action Models for Robotics Manipulation

June 9, 2025

Autores: Hongyu Wang, Chuyan Xiong, Ruiping Wang, Xilin Chen

cs.AI

Resumo

Os modelos Visão-Linguagem-Ação (VLA) têm demonstrado capacidades impressionantes em uma ampla gama de tarefas de manipulação robótica. No entanto, o crescente tamanho desses modelos apresenta desafios significativos para a implantação em sistemas robóticos com recursos limitados. Embora o pré-treinamento de 1 bit tenha se mostrado eficaz para melhorar a eficiência de inferência de grandes modelos de linguagem com perda mínima de desempenho, sua aplicação a modelos VLA ainda é pouco explorada. Neste trabalho, apresentamos o BitVLA, o primeiro modelo VLA de 1 bit para manipulação robótica, no qual cada parâmetro é ternário, ou seja, {-1, 0, 1}. Para reduzir ainda mais a pegada de memória do codificador de visão, propomos a estratégia de treinamento com consciência de destilação, que comprime o codificador de precisão total para pesos de 1,58 bits. Durante esse processo, um codificador de precisão total atua como modelo professor para melhor alinhar as representações latentes. Apesar da falta de pré-treinamento em larga escala para robótica, o BitVLA alcança desempenho comparável ao modelo state-of-the-art OpenVLA-OFT com quantização pós-treinamento de 4 bits no benchmark LIBERO, enquanto consome apenas 29,8% da memória. Esses resultados destacam o potencial do BitVLA para implantação em dispositivos de borda com memória limitada. Disponibilizamos o código e os pesos do modelo em https://github.com/ustcwhy/BitVLA.

English

Vision-Language-Action (VLA) models have shown impressive capabilities across a wide range of robotics manipulation tasks. However, their growing model size poses significant challenges for deployment on resource-constrained robotic systems. While 1-bit pretraining has proven effective for enhancing the inference efficiency of large language models with minimal performance loss, its application to VLA models remains underexplored. In this work, we present BitVLA, the first 1-bit VLA model for robotics manipulation, in which every parameter is ternary, i.e., {-1, 0, 1}. To further reduce the memory footprint of the vision encoder, we propose the distillation-aware training strategy that compresses the full-precision encoder to 1.58-bit weights. During this process, a full-precision encoder serves as a teacher model to better align latent representations. Despite the lack of large-scale robotics pretraining, BitVLA achieves performance comparable to the state-of-the-art model OpenVLA-OFT with 4-bit post-training quantization on the LIBERO benchmark, while consuming only 29.8% of the memory. These results highlight BitVLA's promise for deployment on memory-constrained edge devices. We release the code and model weights in https://github.com/ustcwhy/BitVLA.