Modelo de Moderação Adaptativa à Taxonomia com Barreiras Robustas para Grandes Modelos de Linguagem
Taxonomy-Adaptive Moderation Model with Robust Guardrails for Large Language Models
December 5, 2025
Autores: Mahesh Kumar Nandwana, Youngwan Lim, Joseph Liu, Alex Yang, Varun Notibala, Nishchaie Khanna
cs.AI
Resumo
Os Grandes Modelos de Linguagem (LLMs) são normalmente alinhados para segurança durante a fase de pós-treinamento; no entanto, eles ainda podem gerar resultados inadequados que poderiam potencialmente representar riscos para os usuários. Este desafio ressalta a necessidade de salvaguardas robustas que atuem tanto nas entradas quanto nas saídas do modelo. Neste trabalho, apresentamos o Roblox Guard 1.0, um LLM de última geração ajustado por instrução e projetado para aumentar a segurança dos sistemas de LLM por meio de moderação abrangente de entrada e saída, utilizando um *pipeline* de LLMs para aprimorar a capacidade de moderação. Construído sobre a base Llama-3.1-8B-Instruct, nosso modelo é ajustado por instrução para generalizar em taxonomias de segurança não vistas anteriormente e demonstra um desempenho sólido em *benchmarks* de segurança fora do domínio. O processo de ajuste fino por instrução utiliza uma mistura de dados sintéticos e de código aberto sobre segurança, aumentados com racionalidades de *chain-of-thought* (CoT) e inversão de entrada para melhorar a compreensão contextual e a tomada de decisão. Para apoiar uma avaliação sistemática, também lançamos o RobloxGuard-Eval, um novo *benchmark* que apresenta uma taxonomia de segurança extensível para avaliar a eficácia de proteções e estruturas de moderação de LLMs.
English
Large Language Models (LLMs) are typically aligned for safety during the post-training phase; however, they may still generate inappropriate outputs that could potentially pose risks to users. This challenge underscores the need for robust safeguards that operate across both model inputs and outputs. In this work, we introduce Roblox Guard 1.0, a state-of-the-art instruction fine-tuned LLM designed to enhance the safety of LLM systems through comprehensive input-output moderation, using a pipeline of LLMs to enhance moderation capability. Built on the Llama-3.1-8B-Instruct backbone, our model is instruction fine-tuned to generalize across previously unseen safety taxonomies and demonstrates strong performance on out-of-domain safety benchmarks. The instruction fine-tuning process uses a mix of synthetic and open-source safety datasets, augmented with chain-of-thought (CoT) rationales and input inversion to enhance contextual understanding and decision making. To support systematic evaluation, we also release RobloxGuard-Eval, a new benchmark featuring an extensible safety taxonomy to assess the effectiveness of LLM guardrails and moderation frameworks.