Bielik Guard: Classificadores de Segurança Eficientes para a Língua Polonesa na Moderação de Conteúdo de LLM

Bielik Guard: Efficient Polish Language Safety Classifiers for LLM Content Moderation

February 8, 2026

Autores: Krzysztof Wróbel, Jan Maria Kowalski, Jerzy Surma, Igor Ciuciura, Maciej Szymański

cs.AI

Resumo

À medida que os Modelos de Linguagem de Grande Porte (LLMs) são cada vez mais implementados em aplicações de língua polaca, a necessidade de classificadores de segurança de conteúdo eficientes e precisos tornou-se primordial. Apresentamos o Bielik Guard, uma família de classificadores de segurança compactos para a língua polaca, composta por duas variantes de modelo: um modelo de 0,1B de parâmetros baseado no MMLW-RoBERTa-base e um modelo de 0,5B de parâmetros baseado no PKOBP/polish-roberta-8k. Ajustados finamente num conjunto de dados anotado pela comunidade de 6.885 textos polacos, estes modelos classificam o conteúdo em cinco categorias de segurança: Ódio/Agressão, Vulgaridades, Conteúdo Sexual, Crime e Automutilação. A nossa avaliação demonstra que ambos os modelos alcançam um forte desempenho em múltiplos benchmarks. A variante de 0,5B oferece a melhor capacidade geral de discriminação com pontuações F1 de 0,791 (micro) e 0,785 (macro) no conjunto de teste, enquanto a variante de 0,1B demonstra uma eficiência excecional. Note-se que o Bielik Guard 0.1B v1.1 atinge uma precisão superior (77,65%) e uma taxa de falsos positivos muito baixa (0,63%) em prompts de utilizadores reais, superando o HerBERT-PL-Guard (31,55% de precisão, 4,70% FPR) apesar do tamanho idêntico do modelo. Os modelos estão publicamente disponíveis e foram concebidos para fornecer respostas adequadas em vez de um simples bloqueio de conteúdo, particularmente para categorias sensíveis como a automutilação.

English

As Large Language Models (LLMs) become increasingly deployed in Polish language applications, the need for efficient and accurate content safety classifiers has become paramount. We present Bielik Guard, a family of compact Polish language safety classifiers comprising two model variants: a 0.1B parameter model based on MMLW-RoBERTa-base and a 0.5B parameter model based on PKOBP/polish-roberta-8k. Fine-tuned on a community-annotated dataset of 6,885 Polish texts, these models classify content across five safety categories: Hate/Aggression, Vulgarities, Sexual Content, Crime, and Self-Harm. Our evaluation demonstrates that both models achieve strong performance on multiple benchmarks. The 0.5B variant offers the best overall discrimination capability with F1 scores of 0.791 (micro) and 0.785 (macro) on the test set, while the 0.1B variant demonstrates exceptional efficiency. Notably, Bielik Guard 0.1B v1.1 achieves superior precision (77.65%) and very low false positive rate (0.63%) on real user prompts, outperforming HerBERT-PL-Guard (31.55% precision, 4.70% FPR) despite identical model size. The models are publicly available and designed to provide appropriate responses rather than simple content blocking, particularly for sensitive categories like self-harm.