Moderazione Adattiva alla Tassonomia con Barriere Robuste per Modelli Linguistici di Larga Scala

Abstract

I Large Language Model (LLM) sono tipicamente allineati per la sicurezza durante la fase di post-addestramento; tuttavia, possono comunque generare output inappropriati che potenzialmente potrebbero rappresentare rischi per gli utenti. Questa sfida sottolinea la necessità di robuste misure di sicurezza che operino sia sugli input che sugli output del modello. In questo lavoro, presentiamo Roblox Guard 1.0, un LLM all'avanguardia fine-tuned su istruzioni, progettato per migliorare la sicurezza dei sistemi di LLM attraverso una moderazione completa di input e output, utilizzando una pipeline di LLM per potenziare la capacità di moderazione. Costruito sull'architettura Llama-3.1-8B-Instruct, il nostro modello è stato sottoposto a fine-tuning su istruzioni per generalizzare su tassonomie della sicurezza precedentemente non viste e dimostra prestazioni solide su benchmark di sicurezza fuori dominio. Il processo di instruction fine-tuning utilizza un mix di dataset sintetici e open-source sulla sicurezza, arricchiti con ragionamenti a catena (chain-of-thought, CoT) e inversione dell'input per migliorare la comprensione contestuale e il processo decisionale. Per supportare una valutazione sistematica, rilasciamo anche RobloxGuard-Eval, un nuovo benchmark che presenta una tassonomia della sicurezza estensibile per valutare l'efficacia delle protezioni (guardrail) e dei framework di moderazione per LLM.

English

Large Language Models (LLMs) are typically aligned for safety during the post-training phase; however, they may still generate inappropriate outputs that could potentially pose risks to users. This challenge underscores the need for robust safeguards that operate across both model inputs and outputs. In this work, we introduce Roblox Guard 1.0, a state-of-the-art instruction fine-tuned LLM designed to enhance the safety of LLM systems through comprehensive input-output moderation, using a pipeline of LLMs to enhance moderation capability. Built on the Llama-3.1-8B-Instruct backbone, our model is instruction fine-tuned to generalize across previously unseen safety taxonomies and demonstrates strong performance on out-of-domain safety benchmarks. The instruction fine-tuning process uses a mix of synthetic and open-source safety datasets, augmented with chain-of-thought (CoT) rationales and input inversion to enhance contextual understanding and decision making. To support systematic evaluation, we also release RobloxGuard-Eval, a new benchmark featuring an extensible safety taxonomy to assess the effectiveness of LLM guardrails and moderation frameworks.

Moderazione Adattiva alla Tassonomia con Barriere Robuste per Modelli Linguistici di Larga Scala

Taxonomy-Adaptive Moderation Model with Robust Guardrails for Large Language Models

Abstract

Support