Technischer Bericht zu Bielik 11B v2

Bielik 11B v2 Technical Report

May 5, 2025

Autoren: Krzysztof Ociepa, Łukasz Flis, Krzysztof Wróbel, Adrian Gwoździej, Remigiusz Kinas

cs.AI

Zusammenfassung

Wir präsentieren Bielik 11B v2, ein modernstes Sprachmodell, das für die Verarbeitung polnischer Texte optimiert ist. Basierend auf der Mistral 7B v0.2-Architektur und durch Tiefen-Skalierung auf 11 Milliarden Parameter erweitert, zeigt dieses Modell außergewöhnliche Leistungen in polnischen Sprachbenchmarks bei gleichzeitiger Beibehaltung starker mehrsprachiger Fähigkeiten. Wir führen zwei wesentliche technische Innovationen ein: Weighted Instruction Cross-Entropy Loss, das das Lernen über verschiedene Anweisungstypen hinweg optimiert, indem es qualitätsbasierte Gewichtungen für Trainingsbeispiele zuweist, und Adaptive Learning Rate, die sich dynamisch basierend auf der Kontextlänge anpasst. Eine umfassende Bewertung über mehrere Benchmarks hinweg zeigt, dass Bielik 11B v2 viele größere Modelle, einschließlich solcher mit 2- bis 6-fach mehr Parametern, übertrifft und andere spezialisierte polnische Sprachmodelle bei Aufgaben von linguistischem Verständnis bis hin zu komplexem Denken deutlich übertrifft. Die Parameter-Effizienz des Modells und die umfangreichen Quantisierungsoptionen ermöglichen den Einsatz in verschiedenen Hardware-Konfigurationen, wodurch die KI-Fähigkeiten für die polnische Sprache vorangetrieben und neue Maßstäbe für ressourceneffizientes Sprachmodellieren in weniger repräsentierten Sprachen gesetzt werden.

English

We present Bielik 11B v2, a state-of-the-art language model optimized for Polish text processing. Built on the Mistral 7B v0.2 architecture and scaled to 11B parameters using depth up-scaling, this model demonstrates exceptional performance across Polish language benchmarks while maintaining strong cross-lingual capabilities. We introduce two key technical innovations: Weighted Instruction Cross-Entropy Loss, which optimizes learning across diverse instruction types by assigning quality-based weights to training examples, and Adaptive Learning Rate, which dynamically adjusts based on context length. Comprehensive evaluation across multiple benchmarks demonstrates that Bielik 11B v2 outperforms many larger models, including those with 2-6 times more parameters, and significantly surpasses other specialized Polish language models on tasks ranging from linguistic understanding to complex reasoning. The model's parameter efficiency and extensive quantization options enable deployment across various hardware configurations, advancing Polish language AI capabilities and establishing new benchmarks for resource-efficient language modeling in less-represented languages.