Modèle de modération adaptatif à la taxonomie avec garde-fous robustes pour les grands modèles de langage

papers.abstract

Les grands modèles de langage (LLM) sont généralement alignés pour la sécurité lors de la phase post-entraînement ; cependant, ils peuvent encore produire des résultats inappropriés susceptibles de présenter des risques pour les utilisateurs. Ce défi souligne la nécessité de dispositifs de protection robustes opérant à la fois sur les entrées et les sorties des modèles. Dans ce travail, nous présentons Roblox Guard 1.0, un LLM à la fine pointe de la technologie, affiné par instructions, conçu pour renforcer la sécurité des systèmes LLM grâce à une modération exhaustive des entrées-sorties, en utilisant un pipeline de LLM pour améliorer les capacités de modération. Construit sur l'architecture de base Llama-3.1-8B-Instruct, notre modèle est affiné par instructions pour généraliser à des taxonomies de sécurité non rencontrées lors de l'entraînement et démontre de solides performances sur des benchmarks de sécurité hors domaine. Le processus d'affinage par instructions utilise un mélange de données de sécurité synthétiques et open source, augmentées par des raisonnements en chaîne (chain-of-thought, CoT) et une inversion des entrées pour améliorer la compréhension contextuelle et la prise de décision. Pour soutenir une évaluation systématique, nous publions également RobloxGuard-Eval, un nouveau benchmark comportant une taxonomie de sécurité extensible pour évaluer l'efficacité des garde-fous et des cadres de modération des LLM.

English

Large Language Models (LLMs) are typically aligned for safety during the post-training phase; however, they may still generate inappropriate outputs that could potentially pose risks to users. This challenge underscores the need for robust safeguards that operate across both model inputs and outputs. In this work, we introduce Roblox Guard 1.0, a state-of-the-art instruction fine-tuned LLM designed to enhance the safety of LLM systems through comprehensive input-output moderation, using a pipeline of LLMs to enhance moderation capability. Built on the Llama-3.1-8B-Instruct backbone, our model is instruction fine-tuned to generalize across previously unseen safety taxonomies and demonstrates strong performance on out-of-domain safety benchmarks. The instruction fine-tuning process uses a mix of synthetic and open-source safety datasets, augmented with chain-of-thought (CoT) rationales and input inversion to enhance contextual understanding and decision making. To support systematic evaluation, we also release RobloxGuard-Eval, a new benchmark featuring an extensible safety taxonomy to assess the effectiveness of LLM guardrails and moderation frameworks.

Modèle de modération adaptatif à la taxonomie avec garde-fous robustes pour les grands modèles de langage

Taxonomy-Adaptive Moderation Model with Robust Guardrails for Large Language Models

papers.abstract

Support