Relatório Técnico Bielik 11B v2

Bielik 11B v2 Technical Report

May 5, 2025

Autores: Krzysztof Ociepa, Łukasz Flis, Krzysztof Wróbel, Adrian Gwoździej, Remigiusz Kinas

cs.AI

Resumo

Apresentamos o Bielik 11B v2, um modelo de linguagem de última geração otimizado para processamento de texto em polonês. Construído com base na arquitetura Mistral 7B v0.2 e escalonado para 11 bilhões de parâmetros utilizando escalonamento de profundidade, este modelo demonstra desempenho excepcional em benchmarks de linguagem polonesa, mantendo fortes capacidades multilingues. Introduzimos duas inovações técnicas principais: a Perda de Entropia Cruzada de Instrução Ponderada, que otimiza o aprendizado em diversos tipos de instrução ao atribuir pesos baseados na qualidade aos exemplos de treinamento, e a Taxa de Aprendizado Adaptativa, que ajusta-se dinamicamente com base no comprimento do contexto. A avaliação abrangente em múltiplos benchmarks demonstra que o Bielik 11B v2 supera muitos modelos maiores, incluindo aqueles com 2 a 6 vezes mais parâmetros, e ultrapassa significativamente outros modelos especializados em linguagem polonesa em tarefas que variam de compreensão linguística a raciocínio complexo. A eficiência de parâmetros do modelo e suas extensas opções de quantização permitem a implantação em diversas configurações de hardware, avançando as capacidades de IA para a língua polonesa e estabelecendo novos benchmarks para modelagem de linguagem eficiente em recursos em idiomas menos representados.

English

We present Bielik 11B v2, a state-of-the-art language model optimized for Polish text processing. Built on the Mistral 7B v0.2 architecture and scaled to 11B parameters using depth up-scaling, this model demonstrates exceptional performance across Polish language benchmarks while maintaining strong cross-lingual capabilities. We introduce two key technical innovations: Weighted Instruction Cross-Entropy Loss, which optimizes learning across diverse instruction types by assigning quality-based weights to training examples, and Adaptive Learning Rate, which dynamically adjusts based on context length. Comprehensive evaluation across multiple benchmarks demonstrates that Bielik 11B v2 outperforms many larger models, including those with 2-6 times more parameters, and significantly surpasses other specialized Polish language models on tasks ranging from linguistic understanding to complex reasoning. The model's parameter efficiency and extensive quantization options enable deployment across various hardware configurations, advancing Polish language AI capabilities and establishing new benchmarks for resource-efficient language modeling in less-represented languages.