Bielik Guard: Effiziente polnische Sprach-Sicherheitsklassifikatoren für die LLM-Inhaltsmoderation

Bielik Guard: Efficient Polish Language Safety Classifiers for LLM Content Moderation

February 8, 2026

papers.authors: Krzysztof Wróbel, Jan Maria Kowalski, Jerzy Surma, Igor Ciuciura, Maciej Szymański

cs.AI

papers.abstract

Da große Sprachmodelle (LLMs) zunehmend in polnischsprachigen Anwendungen eingesetzt werden, ist der Bedarf an effizienten und präzisen Inhalts-Safety-Klassifikatoren von größter Bedeutung. Wir stellen Bielik Guard vor, eine Familie kompakter polnischsprachiger Sicherheitsklassifikatoren, die aus zwei Modellvarianten besteht: einem 0,1B-Parameter-Modell basierend auf MMLW-RoBERTa-base und einem 0,5B-Parameter-Modell basierend auf PKOBP/polish-roberta-8k. Diese Modelle, die auf einem community-annotierten Datensatz mit 6.885 polnischen Texten feinabgestimmt wurden, klassifizieren Inhalte in fünf Sicherheitskategorien: Hass/Aggression, Vulgaritäten, sexuelle Inhalte, Kriminalität und Selbstverletzung. Unsere Auswertung zeigt, dass beide Modelle in mehreren Benchmarks eine hohe Leistung erzielen. Die 0,5B-Variante bietet die beste Gesamtdiskriminationsfähigkeit mit F1-Scores von 0,791 (mikro) und 0,785 (makro) auf dem Testdatensatz, während die 0,1B-Variente eine außergewöhnliche Effizienz aufweist. Besonders hervorzuheben ist, dass Bielik Guard 0.1B v1.1 bei echten Nutzerprompts eine überlegene Präzision (77,65 %) und eine sehr niedrige Falsch-Positiv-Rate (0,63 %) erreicht und damit HerBERT-PL-Guard (31,55 % Präzision, 4,70 % FPR) trotz identischer Modellgröße übertrifft. Die Modelle sind öffentlich verfügbar und darauf ausgelegt, angemessene Reaktionen statt einfacher Inhaltsblockaden zu liefern, insbesondere bei sensiblen Kategorien wie Selbstverletzung.

English

As Large Language Models (LLMs) become increasingly deployed in Polish language applications, the need for efficient and accurate content safety classifiers has become paramount. We present Bielik Guard, a family of compact Polish language safety classifiers comprising two model variants: a 0.1B parameter model based on MMLW-RoBERTa-base and a 0.5B parameter model based on PKOBP/polish-roberta-8k. Fine-tuned on a community-annotated dataset of 6,885 Polish texts, these models classify content across five safety categories: Hate/Aggression, Vulgarities, Sexual Content, Crime, and Self-Harm. Our evaluation demonstrates that both models achieve strong performance on multiple benchmarks. The 0.5B variant offers the best overall discrimination capability with F1 scores of 0.791 (micro) and 0.785 (macro) on the test set, while the 0.1B variant demonstrates exceptional efficiency. Notably, Bielik Guard 0.1B v1.1 achieves superior precision (77.65%) and very low false positive rate (0.63%) on real user prompts, outperforming HerBERT-PL-Guard (31.55% precision, 4.70% FPR) despite identical model size. The models are publicly available and designed to provide appropriate responses rather than simple content blocking, particularly for sensitive categories like self-harm.