Avanzamento della Modellizzazione della Lingua Polacca attraverso l'Ottimizzazione del Tokenizzatore nella Serie Bielik v3 7B e 11B
Advancing Polish Language Modeling through Tokenizer Optimization in the Bielik v3 7B and 11B Series
April 12, 2026
Autori: Krzysztof Ociepa, Łukasz Flis, Remigiusz Kinas, Krzysztof Wróbel, Adrian Gwoździej
cs.AI
Abstract
Lo sviluppo della serie Bielik v3 PL, che comprende sia le varianti da 7B che da 11B di parametri, rappresenta una pietra miliare significativa nel campo dell'ottimizzazione di modelli linguistici di grandi dimensioni (LLM) specifici per lingua. Sebbene i modelli a scopo generale dimostrino spesso capacità multilingue impressionanti, soffrono frequentemente di un'inefficienza architetturale fondamentale: l'uso di tokenizzatori universali. Questi tokenizzatori, tipicamente progettati per coprire un ampio spettro di lingue, spesso non riescono a cogliere le sfumature morfologiche di lingue specifiche come il polacco, portando a rapporti di fertilità più elevati, costi di inferenza aumentati e finestre di contesto effettivo ridotte. Questo rapporto dettaglia la transizione dalla tokenizzazione universale basata su Mistral a un vocabolario dedicato e ottimizzato per il polacco per i modelli Bielik v3, esplorando l'inizializzazione degli embedding basata su FOCUS, il curriculum di pre-addestramento multi-stadio e il successivo allineamento post-addestramento che coinvolge Fine-Tuning Supervisionato, Ottimizzazione Diretta delle Preferenze e Apprendimento per Rinforzo attraverso l'Ottimizzazione delle Politiche Relative di Gruppo con ricompense verificabili.
English
The development of the Bielik v3 PL series, encompassing both the 7B and 11B parameter variants, represents a significant milestone in the field of language-specific large language model (LLM) optimization. While general-purpose models often demonstrate impressive multilingual capabilities, they frequently suffer from a fundamental architectural inefficiency: the use of universal tokenizers. These tokenizers, typically designed to cover a broad spectrum of languages, often fail to capture the morphological nuances of specific languages like Polish, leading to higher fertility ratios, increased inference costs, and restricted effective context windows. This report details the transition from the universal Mistral-based tokenization to a dedicated Polish-optimized vocabulary for the Bielik v3 models, exploring the FOCUS-based embedding initialization, the multi-stage pretraining curriculum, and the subsequent post-training alignment involving Supervised Fine-Tuning, Direct Preference Optimization, and Reinforcement Learning through Group Relative Policy Optimization with verifiable rewards.