Технический отчет Bielik 11B v2

Bielik 11B v2 Technical Report

May 5, 2025

Авторы: Krzysztof Ociepa, Łukasz Flis, Krzysztof Wróbel, Adrian Gwoździej, Remigiusz Kinas

cs.AI

Аннотация

Представляем Bielik 11B v2 — современную языковую модель, оптимизированную для обработки польского текста. Построенная на архитектуре Mistral 7B v0.2 и масштабированная до 11 миллиардов параметров с использованием глубинного масштабирования, эта модель демонстрирует выдающуюся производительность на польских языковых тестах, сохраняя при этом сильные кросс-лингвистические способности. Мы внедрили два ключевых технических новшества: взвешенную функцию потерь на основе кросс-энтропии инструкций, которая оптимизирует обучение для различных типов инструкций, присваивая веса обучающим примерам на основе их качества, и адаптивную скорость обучения, которая динамически корректируется в зависимости от длины контекста. Всесторонняя оценка на множестве тестов показывает, что Bielik 11B v2 превосходит многие более крупные модели, включая те, которые имеют в 2–6 раз больше параметров, и значительно опережает другие специализированные модели для польского языка в задачах, начиная от лингвистического понимания до сложных рассуждений. Эффективность использования параметров модели и обширные возможности квантования позволяют развертывать её на различных аппаратных конфигурациях, что способствует развитию возможностей ИИ для польского языка и устанавливает новые стандарты для ресурсоэффективного языкового моделирования в менее представленных языках.

English

We present Bielik 11B v2, a state-of-the-art language model optimized for Polish text processing. Built on the Mistral 7B v0.2 architecture and scaled to 11B parameters using depth up-scaling, this model demonstrates exceptional performance across Polish language benchmarks while maintaining strong cross-lingual capabilities. We introduce two key technical innovations: Weighted Instruction Cross-Entropy Loss, which optimizes learning across diverse instruction types by assigning quality-based weights to training examples, and Adaptive Learning Rate, which dynamically adjusts based on context length. Comprehensive evaluation across multiple benchmarks demonstrates that Bielik 11B v2 outperforms many larger models, including those with 2-6 times more parameters, and significantly surpasses other specialized Polish language models on tasks ranging from linguistic understanding to complex reasoning. The model's parameter efficiency and extensive quantization options enable deployment across various hardware configurations, advancing Polish language AI capabilities and establishing new benchmarks for resource-efficient language modeling in less-represented languages.