BitVLA: 1-битные модели "Видение-Язык-Действие" для манипуляций в робототехнике

BitVLA: 1-bit Vision-Language-Action Models for Robotics Manipulation

June 9, 2025

Авторы: Hongyu Wang, Chuyan Xiong, Ruiping Wang, Xilin Chen

cs.AI

Аннотация

Модели Vision-Language-Action (VLA) продемонстрировали впечатляющие возможности в широком спектре задач манипуляции в робототехнике. Однако их растущий размер модели создает значительные трудности для развертывания на ресурсоограниченных роботизированных системах. Хотя 1-битное предварительное обучение доказало свою эффективность для повышения эффективности вывода крупных языковых моделей с минимальной потерей производительности, его применение к моделям VLA остается недостаточно изученным. В данной работе мы представляем BitVLA — первую 1-битную модель VLA для задач манипуляции в робототехнике, в которой каждый параметр является троичным, т.е. {-1, 0, 1}. Для дальнейшего сокращения объема памяти, занимаемого визуальным кодировщиком, мы предлагаем стратегию обучения с учетом дистилляции, которая сжимает полнобитный кодировщик до весов с точностью 1.58 бита. В этом процессе полнобитный кодировщик выступает в роли учителя для лучшего согласования латентных представлений. Несмотря на отсутствие крупномасштабного предварительного обучения в робототехнике, BitVLA демонстрирует производительность, сопоставимую с современной моделью OpenVLA-OFT с 4-битной посттренировочной квантизацией на бенчмарке LIBERO, при этом потребляя только 29.8% памяти. Эти результаты подчеркивают перспективность BitVLA для развертывания на устройствах с ограниченной памятью. Мы публикуем код и веса модели по адресу https://github.com/ustcwhy/BitVLA.

English

Vision-Language-Action (VLA) models have shown impressive capabilities across a wide range of robotics manipulation tasks. However, their growing model size poses significant challenges for deployment on resource-constrained robotic systems. While 1-bit pretraining has proven effective for enhancing the inference efficiency of large language models with minimal performance loss, its application to VLA models remains underexplored. In this work, we present BitVLA, the first 1-bit VLA model for robotics manipulation, in which every parameter is ternary, i.e., {-1, 0, 1}. To further reduce the memory footprint of the vision encoder, we propose the distillation-aware training strategy that compresses the full-precision encoder to 1.58-bit weights. During this process, a full-precision encoder serves as a teacher model to better align latent representations. Despite the lack of large-scale robotics pretraining, BitVLA achieves performance comparable to the state-of-the-art model OpenVLA-OFT with 4-bit post-training quantization on the LIBERO benchmark, while consuming only 29.8% of the memory. These results highlight BitVLA's promise for deployment on memory-constrained edge devices. We release the code and model weights in https://github.com/ustcwhy/BitVLA.