비엘릭 11B v2 기술 보고서

Bielik 11B v2 Technical Report

May 5, 2025

저자: Krzysztof Ociepa, Łukasz Flis, Krzysztof Wróbel, Adrian Gwoździej, Remigiusz Kinas

cs.AI

초록

우리는 폴란드어 텍스트 처리에 최적화된 최첨단 언어 모델인 Bielik 11B v2를 소개한다. 이 모델은 Mistral 7B v0.2 아키텍처를 기반으로 구축되었으며, 깊이 확장(depth up-scaling)을 통해 11B 파라미터로 확장되었다. 이 모델은 폴란드어 벤치마크에서 탁월한 성능을 보이는 동시에 강력한 다국어 능력을 유지한다. 우리는 두 가지 주요 기술 혁신을 도입했다: 첫째, 다양한 명령 유형에 걸쳐 학습을 최적화하기 위해 훈련 예제에 품질 기반 가중치를 부여하는 Weighted Instruction Cross-Entropy Loss와, 둘째, 컨텍스트 길이에 따라 동적으로 조정되는 Adaptive Learning Rate이다. 다중 벤치마크에 걸친 포괄적인 평가 결과, Bielik 11B v2는 파라미터 수가 2~6배 더 많은 대형 모델들을 능가하며, 언어 이해부터 복잡한 추론에 이르는 다양한 작업에서 다른 전문화된 폴란드어 언어 모델들을 크게 앞섰다. 이 모델의 파라미터 효율성과 광범위한 양자화 옵션은 다양한 하드웨어 구성에 걸쳐 배포를 가능하게 하여, 폴란드어 AI 역량을 발전시키고, 덜 대표되는 언어에서의 자원 효율적인 언어 모델링을 위한 새로운 벤치마크를 확립한다.

English

We present Bielik 11B v2, a state-of-the-art language model optimized for Polish text processing. Built on the Mistral 7B v0.2 architecture and scaled to 11B parameters using depth up-scaling, this model demonstrates exceptional performance across Polish language benchmarks while maintaining strong cross-lingual capabilities. We introduce two key technical innovations: Weighted Instruction Cross-Entropy Loss, which optimizes learning across diverse instruction types by assigning quality-based weights to training examples, and Adaptive Learning Rate, which dynamically adjusts based on context length. Comprehensive evaluation across multiple benchmarks demonstrates that Bielik 11B v2 outperforms many larger models, including those with 2-6 times more parameters, and significantly surpasses other specialized Polish language models on tasks ranging from linguistic understanding to complex reasoning. The model's parameter efficiency and extensive quantization options enable deployment across various hardware configurations, advancing Polish language AI capabilities and establishing new benchmarks for resource-efficient language modeling in less-represented languages.