Bielik 11B v2 技術レポート

Bielik 11B v2 Technical Report

May 5, 2025

著者: Krzysztof Ociepa, Łukasz Flis, Krzysztof Wróbel, Adrian Gwoździej, Remigiusz Kinas

cs.AI

要旨

Bielik 11B v2を紹介します。これは、ポーランド語テキスト処理に最適化された最先端の言語モデルです。Mistral 7B v0.2アーキテクチャを基盤とし、深度スケーリングを用いて11Bパラメータに拡張されたこのモデルは、ポーランド語のベンチマークで卓越した性能を発揮しつつ、強力な多言語対応能力を維持しています。本モデルでは、2つの重要な技術的革新を導入しています。1つ目は、学習例に品質に基づく重みを付けることで多様な指示タイプにわたる学習を最適化する「重み付き指示クロスエントロピー損失」、2つ目は、文脈長に基づいて動的に調整する「適応型学習率」です。複数のベンチマークにわたる包括的な評価により、Bielik 11B v2は、パラメータ数が2～6倍多い大規模モデルを上回り、言語理解から複雑な推論に至るタスクにおいて、他の専門的なポーランド語モデルを大幅に凌駕することが示されました。本モデルのパラメータ効率性と広範な量子化オプションにより、様々なハードウェア構成での展開が可能となり、ポーランド語AIの能力を向上させ、リソース効率の良い言語モデリングにおいて、あまり代表されない言語の新たなベンチマークを確立しています。

English

We present Bielik 11B v2, a state-of-the-art language model optimized for Polish text processing. Built on the Mistral 7B v0.2 architecture and scaled to 11B parameters using depth up-scaling, this model demonstrates exceptional performance across Polish language benchmarks while maintaining strong cross-lingual capabilities. We introduce two key technical innovations: Weighted Instruction Cross-Entropy Loss, which optimizes learning across diverse instruction types by assigning quality-based weights to training examples, and Adaptive Learning Rate, which dynamically adjusts based on context length. Comprehensive evaluation across multiple benchmarks demonstrates that Bielik 11B v2 outperforms many larger models, including those with 2-6 times more parameters, and significantly surpasses other specialized Polish language models on tasks ranging from linguistic understanding to complex reasoning. The model's parameter efficiency and extensive quantization options enable deployment across various hardware configurations, advancing Polish language AI capabilities and establishing new benchmarks for resource-efficient language modeling in less-represented languages.