Modelo de Moderación Adaptativa a la Taxonomía con Barreras de Protección Robusta para Modelos de Lenguaje a Gran Escala

Resumen

Los Modelos de Lenguaje Grandes (LLMs) suelen alinearse para garantizar la seguridad durante la fase posterior al entrenamiento; sin embargo, aún pueden generar resultados inapropiados que potencialmente podrían representar riesgos para los usuarios. Este desafío subraya la necesidad de salvaguardas robustas que operen tanto en las entradas como en las salidas del modelo. En este trabajo, presentamos Roblox Guard 1.0, un LLM de última generación ajustado mediante instrucciones, diseñado para mejorar la seguridad de los sistemas de LLM mediante una moderación integral de entradas y salidas, utilizando un pipeline de LLMs para potenciar la capacidad de moderación. Construido sobre la base de Llama-3.1-8B-Instruct, nuestro modelo está ajustado por instrucciones para generalizar en taxonomías de seguridad no vistas previamente y demuestra un rendimiento sólido en benchmarks de seguridad fuera de dominio. El proceso de ajuste por instrucciones utiliza una mezcla de conjuntos de datos de seguridad sintéticos y de código abierto, aumentados con razonamientos de cadena de pensamiento (CoT) e inversión de entrada para mejorar la comprensión contextual y la toma de decisiones. Para apoyar la evaluación sistemática, también publicamos RobloxGuard-Eval, un nuevo benchmark que presenta una taxonomía de seguridad extensible para evaluar la efectividad de las barreras de protección y los marcos de moderación de LLMs.

English

Large Language Models (LLMs) are typically aligned for safety during the post-training phase; however, they may still generate inappropriate outputs that could potentially pose risks to users. This challenge underscores the need for robust safeguards that operate across both model inputs and outputs. In this work, we introduce Roblox Guard 1.0, a state-of-the-art instruction fine-tuned LLM designed to enhance the safety of LLM systems through comprehensive input-output moderation, using a pipeline of LLMs to enhance moderation capability. Built on the Llama-3.1-8B-Instruct backbone, our model is instruction fine-tuned to generalize across previously unseen safety taxonomies and demonstrates strong performance on out-of-domain safety benchmarks. The instruction fine-tuning process uses a mix of synthetic and open-source safety datasets, augmented with chain-of-thought (CoT) rationales and input inversion to enhance contextual understanding and decision making. To support systematic evaluation, we also release RobloxGuard-Eval, a new benchmark featuring an extensible safety taxonomy to assess the effectiveness of LLM guardrails and moderation frameworks.

Modelo de Moderación Adaptativa a la Taxonomía con Barreras de Protección Robusta para Modelos de Lenguaje a Gran Escala

Taxonomy-Adaptive Moderation Model with Robust Guardrails for Large Language Models

Resumen

Support