Bielik Guard: Efektywne Klasyfikatory Bezpieczeństwa Języka Polskiego do Moderacji Treści w Modelach LLM

Bielik Guard: Efficient Polish Language Safety Classifiers for LLM Content Moderation

February 8, 2026

Autori: Krzysztof Wróbel, Jan Maria Kowalski, Jerzy Surma, Igor Ciuciura, Maciej Szymański

cs.AI

Abstract

Con l'aumento dell'impiego dei Large Language Model (LLM) nelle applicazioni in lingua polacca, la necessità di classificatori di sicurezza dei contenuti efficienti e accurati è diventata fondamentale. Presentiamo Bielik Guard, una famiglia di classificatori di sicurezza compatti per la lingua polacca che comprende due varianti di modello: un modello da 0,1 miliardi di parametri basato su MMLW-RoBERTa-base e un modello da 0,5 miliardi di parametri basato su PKOBP/polish-roberta-8k. Addestrati su un dataset annotato dalla comunità di 6.885 testi polacchi, questi modelli classificano i contenuti in cinque categorie di sicurezza: Odio/Aggressione, Volgarità, Contenuto Sessuale, Criminalità e Autolesionismo. La nostra valutazione dimostra che entrambi i modelli raggiungono prestazioni solide su molteplici benchmark. La variante da 0,5B offre la migliore capacità discriminativa complessiva con punteggi F1 di 0,791 (micro) e 0,785 (macro) sul set di test, mentre la variante da 0,1B dimostra un'efficienza eccezionale. È degno di nota che Bielik Guard 0.1B v1.1 raggiunga una precisione superiore (77,65%) e un tasso di falsi positivi molto basso (0,63%) su prompt di utenti reali, superando HerBERT-PL-Guard (31,55% di precisione, 4,70% FPR) nonostante la dimensione identica del modello. I modelli sono disponibili pubblicamente e progettati per fornire risposte appropriate piuttosto che un semplice blocco dei contenuti, in particolare per categorie sensibili come l'autolesionismo.

English

As Large Language Models (LLMs) become increasingly deployed in Polish language applications, the need for efficient and accurate content safety classifiers has become paramount. We present Bielik Guard, a family of compact Polish language safety classifiers comprising two model variants: a 0.1B parameter model based on MMLW-RoBERTa-base and a 0.5B parameter model based on PKOBP/polish-roberta-8k. Fine-tuned on a community-annotated dataset of 6,885 Polish texts, these models classify content across five safety categories: Hate/Aggression, Vulgarities, Sexual Content, Crime, and Self-Harm. Our evaluation demonstrates that both models achieve strong performance on multiple benchmarks. The 0.5B variant offers the best overall discrimination capability with F1 scores of 0.791 (micro) and 0.785 (macro) on the test set, while the 0.1B variant demonstrates exceptional efficiency. Notably, Bielik Guard 0.1B v1.1 achieves superior precision (77.65%) and very low false positive rate (0.63%) on real user prompts, outperforming HerBERT-PL-Guard (31.55% precision, 4.70% FPR) despite identical model size. The models are publicly available and designed to provide appropriate responses rather than simple content blocking, particularly for sensitive categories like self-harm.