Informe Técnico de Bielik 11B v2

Bielik 11B v2 Technical Report

May 5, 2025

Autores: Krzysztof Ociepa, Łukasz Flis, Krzysztof Wróbel, Adrian Gwoździej, Remigiusz Kinas

cs.AI

Resumen

Presentamos Bielik 11B v2, un modelo de lenguaje de vanguardia optimizado para el procesamiento de texto en polaco. Basado en la arquitectura Mistral 7B v0.2 y escalado a 11 mil millones de parámetros mediante escalado en profundidad, este modelo demuestra un rendimiento excepcional en los benchmarks de lenguaje polaco, manteniendo al mismo tiempo sólidas capacidades multilingües. Introducimos dos innovaciones técnicas clave: la Pérdida de Entropía Cruzada de Instrucción Ponderada, que optimiza el aprendizaje en diversos tipos de instrucciones asignando pesos basados en la calidad a los ejemplos de entrenamiento, y la Tasa de Aprendizaje Adaptativa, que se ajusta dinámicamente según la longitud del contexto. Una evaluación exhaustiva en múltiples benchmarks demuestra que Bielik 11B v2 supera a muchos modelos más grandes, incluidos aquellos con 2 a 6 veces más parámetros, y supera significativamente a otros modelos especializados en lenguaje polaco en tareas que van desde la comprensión lingüística hasta el razonamiento complejo. La eficiencia en parámetros del modelo y sus amplias opciones de cuantificación permiten su implementación en diversas configuraciones de hardware, avanzando en las capacidades de IA para el lenguaje polaco y estableciendo nuevos estándares para el modelado de lenguaje eficiente en recursos en idiomas menos representados.

English

We present Bielik 11B v2, a state-of-the-art language model optimized for Polish text processing. Built on the Mistral 7B v0.2 architecture and scaled to 11B parameters using depth up-scaling, this model demonstrates exceptional performance across Polish language benchmarks while maintaining strong cross-lingual capabilities. We introduce two key technical innovations: Weighted Instruction Cross-Entropy Loss, which optimizes learning across diverse instruction types by assigning quality-based weights to training examples, and Adaptive Learning Rate, which dynamically adjusts based on context length. Comprehensive evaluation across multiple benchmarks demonstrates that Bielik 11B v2 outperforms many larger models, including those with 2-6 times more parameters, and significantly surpasses other specialized Polish language models on tasks ranging from linguistic understanding to complex reasoning. The model's parameter efficiency and extensive quantization options enable deployment across various hardware configurations, advancing Polish language AI capabilities and establishing new benchmarks for resource-efficient language modeling in less-represented languages.