Rapporto Tecnico Bielik 11B v2

Bielik 11B v2 Technical Report

May 5, 2025

Autori: Krzysztof Ociepa, Łukasz Flis, Krzysztof Wróbel, Adrian Gwoździej, Remigiusz Kinas

cs.AI

Abstract

Presentiamo Bielik 11B v2, un modello linguistico all'avanguardia ottimizzato per l'elaborazione di testi in polacco. Basato sull'architettura Mistral 7B v0.2 e scalato a 11 miliardi di parametri mediante depth up-scaling, questo modello dimostra prestazioni eccezionali nei benchmark linguistici polacchi, mantenendo al contempo solide capacità cross-linguali. Introduciamo due innovazioni tecniche chiave: la Weighted Instruction Cross-Entropy Loss, che ottimizza l'apprendimento su diversi tipi di istruzioni assegnando pesi basati sulla qualità agli esempi di addestramento, e l'Adaptive Learning Rate, che si adatta dinamicamente in base alla lunghezza del contesto. Una valutazione completa su più benchmark dimostra che Bielik 11B v2 supera molti modelli più grandi, inclusi quelli con 2-6 volte più parametri, e supera significativamente altri modelli linguistici specializzati per il polacco in compiti che vanno dalla comprensione linguistica al ragionamento complesso. L'efficienza parametrica del modello e le ampie opzioni di quantizzazione ne consentono l'implementazione su varie configurazioni hardware, avanzando le capacità dell'IA per la lingua polacca e stabilendo nuovi benchmark per la modellazione linguistica efficiente nelle risorse per lingue meno rappresentate.

English

We present Bielik 11B v2, a state-of-the-art language model optimized for Polish text processing. Built on the Mistral 7B v0.2 architecture and scaled to 11B parameters using depth up-scaling, this model demonstrates exceptional performance across Polish language benchmarks while maintaining strong cross-lingual capabilities. We introduce two key technical innovations: Weighted Instruction Cross-Entropy Loss, which optimizes learning across diverse instruction types by assigning quality-based weights to training examples, and Adaptive Learning Rate, which dynamically adjusts based on context length. Comprehensive evaluation across multiple benchmarks demonstrates that Bielik 11B v2 outperforms many larger models, including those with 2-6 times more parameters, and significantly surpasses other specialized Polish language models on tasks ranging from linguistic understanding to complex reasoning. The model's parameter efficiency and extensive quantization options enable deployment across various hardware configurations, advancing Polish language AI capabilities and establishing new benchmarks for resource-efficient language modeling in less-represented languages.