BitNet b1.58 2B4T Technisch Rapport

BitNet b1.58 2B4T Technical Report

April 16, 2025

Auteurs: Shuming Ma, Hongyu Wang, Shaohan Huang, Xingxing Zhang, Ying Hu, Ting Song, Yan Xia, Furu Wei

cs.AI

Samenvatting

We introduceren BitNet b1.58 2B4T, het eerste open-source, native 1-bit Large Language Model (LLM) op de schaal van 2 miljard parameters. Getraind op een corpus van 4 biljoen tokens, is het model grondig geëvalueerd op benchmarks die taalbegrip, wiskundig redeneren, programmeervaardigheid en conversatievermogen omvatten. Onze resultaten tonen aan dat BitNet b1.58 2B4T prestaties levert die vergelijkbaar zijn met toonaangevende open-weight, full-precision LLM's van vergelijkbare grootte, terwijl het aanzienlijke voordelen biedt op het gebied van rekenkundige efficiëntie, waaronder een aanzienlijk verlaagd geheugengebruik, energieverbruik en decodeerlatentie. Om verder onderzoek en adoptie te vergemakkelijken, worden de modelgewichten vrijgegeven via Hugging Face, samen met open-source inferentie-implementaties voor zowel GPU- als CPU-architecturen.

English

We introduce BitNet b1.58 2B4T, the first open-source, native 1-bit Large Language Model (LLM) at the 2-billion parameter scale. Trained on a corpus of 4 trillion tokens, the model has been rigorously evaluated across benchmarks covering language understanding, mathematical reasoning, coding proficiency, and conversational ability. Our results demonstrate that BitNet b1.58 2B4T achieves performance on par with leading open-weight, full-precision LLMs of similar size, while offering significant advantages in computational efficiency, including substantially reduced memory footprint, energy consumption, and decoding latency. To facilitate further research and adoption, the model weights are released via Hugging Face along with open-source inference implementations for both GPU and CPU architectures.