Таксономически-адаптивная модель модерации с надежными защитными механизмами для больших языковых моделей

Taxonomy-Adaptive Moderation Model with Robust Guardrails for Large Language Models

December 5, 2025

Авторы: Mahesh Kumar Nandwana, Youngwan Lim, Joseph Liu, Alex Yang, Varun Notibala, Nishchaie Khanna

cs.AI

Аннотация

Крупные языковые модели (LLM) обычно проходят донастройку для обеспечения безопасности на этапе пост-обучения; тем не менее, они могут по-прежнему генерировать неподобающие ответы, потенциально создающие риски для пользователей. Эта проблема подчеркивает необходимость создания надежных защитных механизмов, функционирующих как на входе, так и на выходе модели. В данной работе мы представляем Roblox Guard 1.0 — передовую LLM, донастроенную на инструкциях для повышения безопасности LLM-систем за счет всесторонней модерации входных и выходных данных с использованием конвейера LLM для усиления возможностей модерации. Построенная на базе модели Llama-3.1-8B-Instruct, наша модель донастроена на инструкциях для обобщения работы с ранее неизвестными таксономиями безопасности и демонстрирует высокую производительность на внешних бенчмарках безопасности. Процесс инструктивной донастройки использует смесь синтетических и открытых наборов данных по безопасности, дополненных цепочками рассуждений (Chain-of-Thought, CoT) и инверсией входных данных для улучшения контекстного понимания и принятия решений. Для поддержки систематической оценки мы также выпускаем RobloxGuard-Eval — новый бенчмарк с расширяемой таксономией безопасности для оценки эффективности защитных ограничений и фреймворков модерации LLM.

English

Large Language Models (LLMs) are typically aligned for safety during the post-training phase; however, they may still generate inappropriate outputs that could potentially pose risks to users. This challenge underscores the need for robust safeguards that operate across both model inputs and outputs. In this work, we introduce Roblox Guard 1.0, a state-of-the-art instruction fine-tuned LLM designed to enhance the safety of LLM systems through comprehensive input-output moderation, using a pipeline of LLMs to enhance moderation capability. Built on the Llama-3.1-8B-Instruct backbone, our model is instruction fine-tuned to generalize across previously unseen safety taxonomies and demonstrates strong performance on out-of-domain safety benchmarks. The instruction fine-tuning process uses a mix of synthetic and open-source safety datasets, augmented with chain-of-thought (CoT) rationales and input inversion to enhance contextual understanding and decision making. To support systematic evaluation, we also release RobloxGuard-Eval, a new benchmark featuring an extensible safety taxonomy to assess the effectiveness of LLM guardrails and moderation frameworks.