Rapport technique BitNet b1.58 2B4T

BitNet b1.58 2B4T Technical Report

April 16, 2025

Auteurs: Shuming Ma, Hongyu Wang, Shaohan Huang, Xingxing Zhang, Ying Hu, Ting Song, Yan Xia, Furu Wei

cs.AI

Résumé

Nous présentons BitNet b1.58 2B4T, le premier modèle de langage à grande échelle (LLM) natif en 1-bit open-source à l'échelle de 2 milliards de paramètres. Entraîné sur un corpus de 4 000 milliards de tokens, le modèle a été rigoureusement évalué sur des benchmarks couvrant la compréhension du langage, le raisonnement mathématique, la maîtrise du codage et les capacités conversationnelles. Nos résultats démontrent que BitNet b1.58 2B4T atteint des performances comparables à celles des meilleurs LLM open-weight en précision totale de taille similaire, tout en offrant des avantages significatifs en termes d'efficacité computationnelle, notamment une empreinte mémoire, une consommation d'énergie et une latence de décodage considérablement réduites. Pour faciliter la recherche et l'adoption ultérieures, les poids du modèle sont publiés via Hugging Face, accompagnés d'implémentations open-source d'inférence pour les architectures GPU et CPU.

English

We introduce BitNet b1.58 2B4T, the first open-source, native 1-bit Large Language Model (LLM) at the 2-billion parameter scale. Trained on a corpus of 4 trillion tokens, the model has been rigorously evaluated across benchmarks covering language understanding, mathematical reasoning, coding proficiency, and conversational ability. Our results demonstrate that BitNet b1.58 2B4T achieves performance on par with leading open-weight, full-precision LLMs of similar size, while offering significant advantages in computational efficiency, including substantially reduced memory footprint, energy consumption, and decoding latency. To facilitate further research and adoption, the model weights are released via Hugging Face along with open-source inference implementations for both GPU and CPU architectures.