Технический отчет BitNet b1.58 2B4T

BitNet b1.58 2B4T Technical Report

April 16, 2025

Авторы: Shuming Ma, Hongyu Wang, Shaohan Huang, Xingxing Zhang, Ying Hu, Ting Song, Yan Xia, Furu Wei

cs.AI

Аннотация

Мы представляем BitNet b1.58 2B4T — первую открытую, нативную 1-битную крупную языковую модель (LLM) с масштабом в 2 миллиарда параметров. Обученная на корпусе из 4 триллионов токенов, модель была тщательно протестирована на наборах данных, охватывающих понимание языка, математические рассуждения, навыки программирования и способность к диалогу. Наши результаты показывают, что BitNet b1.58 2B4T демонстрирует производительность, сопоставимую с ведущими открытыми полноточными LLM аналогичного размера, при этом предлагая значительные преимущества в вычислительной эффективности, включая существенно уменьшенный объем памяти, энергопотребление и задержку декодирования. Для содействия дальнейшим исследованиям и внедрению, веса модели опубликованы на платформе Hugging Face вместе с открытыми реализациями вывода для архитектур GPU и CPU.

English

We introduce BitNet b1.58 2B4T, the first open-source, native 1-bit Large Language Model (LLM) at the 2-billion parameter scale. Trained on a corpus of 4 trillion tokens, the model has been rigorously evaluated across benchmarks covering language understanding, mathematical reasoning, coding proficiency, and conversational ability. Our results demonstrate that BitNet b1.58 2B4T achieves performance on par with leading open-weight, full-precision LLMs of similar size, while offering significant advantages in computational efficiency, including substantially reduced memory footprint, energy consumption, and decoding latency. To facilitate further research and adoption, the model weights are released via Hugging Face along with open-source inference implementations for both GPU and CPU architectures.