Bielik 11B v2 Technisch Rapport

Bielik 11B v2 Technical Report

May 5, 2025

Auteurs: Krzysztof Ociepa, Łukasz Flis, Krzysztof Wróbel, Adrian Gwoździej, Remigiusz Kinas

cs.AI

Samenvatting

We presenteren Bielik 11B v2, een state-of-the-art taalmodel geoptimaliseerd voor de verwerking van Poolse tekst. Gebouwd op de Mistral 7B v0.2-architectuur en opgeschaald naar 11B parameters met behulp van depth up-scaling, toont dit model uitzonderlijke prestaties op Poolse taalbenchmarks terwijl het sterke cross-linguale capaciteiten behoudt. We introduceren twee belangrijke technische innovaties: Weighted Instruction Cross-Entropy Loss, dat het leren over diverse instructietypen optimaliseert door kwaliteitsgebaseerde gewichten toe te kennen aan trainingsvoorbeelden, en Adaptive Learning Rate, dat dynamisch wordt aangepast op basis van contextlengte. Uitgebreide evaluatie over meerdere benchmarks toont aan dat Bielik 11B v2 veel grotere modellen overtreft, inclusief modellen met 2-6 keer meer parameters, en andere gespecialiseerde Poolse taalmodellen aanzienlijk overstijgt op taken variërend van linguïstisch begrip tot complex redeneren. De parameter-efficiëntie van het model en uitgebreide kwantiseringsopties maken implementatie mogelijk op diverse hardwareconfiguraties, wat de Poolse taal-AI-mogelijkheden vooruithelpt en nieuwe benchmarks vestigt voor resource-efficiënt taalmodeleren in minder vertegenwoordigde talen.

English

We present Bielik 11B v2, a state-of-the-art language model optimized for Polish text processing. Built on the Mistral 7B v0.2 architecture and scaled to 11B parameters using depth up-scaling, this model demonstrates exceptional performance across Polish language benchmarks while maintaining strong cross-lingual capabilities. We introduce two key technical innovations: Weighted Instruction Cross-Entropy Loss, which optimizes learning across diverse instruction types by assigning quality-based weights to training examples, and Adaptive Learning Rate, which dynamically adjusts based on context length. Comprehensive evaluation across multiple benchmarks demonstrates that Bielik 11B v2 outperforms many larger models, including those with 2-6 times more parameters, and significantly surpasses other specialized Polish language models on tasks ranging from linguistic understanding to complex reasoning. The model's parameter efficiency and extensive quantization options enable deployment across various hardware configurations, advancing Polish language AI capabilities and establishing new benchmarks for resource-efficient language modeling in less-represented languages.