DuoGuard: Un Framework basato su RL a due giocatori per LLM multilingue con guide di protezione

DuoGuard: A Two-Player RL-Driven Framework for Multilingual LLM Guardrails

February 7, 2025

Autori: Yihe Deng, Yu Yang, Junkai Zhang, Wei Wang, Bo Li

cs.AI

Abstract

Il rapido avanzamento dei grandi modelli linguistici (LLM) ha aumentato la necessità di modelli di protezione per garantire un uso responsabile, in particolare nel rilevamento di contenuti non sicuri e illegali. Sebbene esistano dati significativi sulla sicurezza in lingua inglese, la modellazione multilingue di guardrail rimane poco esplorata a causa della scarsità di dati di sicurezza open-source in altre lingue. Per affrontare questa lacuna, proponiamo un nuovo framework di Apprendimento per Rinforzo (RL) a due giocatori, in cui un generatore e un modello di guardrail coevolvono in modo avversario per produrre dati sintetici di alta qualità per l'addestramento multilingue di guardrail. Formalizziamo teoricamente questa interazione come un gioco a due giocatori, dimostrando la convergenza verso un equilibrio di Nash. Valutazioni empiriche mostrano che il nostro modello \ours supera i modelli all'avanguardia, ottenendo un miglioramento di quasi il 10% rispetto a LlamaGuard3 (8B) sui benchmark in lingua inglese, pur essendo 4,5 volte più veloce nell'inferenza con un modello significativamente più piccolo (0,5B). Otteniamo progressi sostanziali nei compiti di sicurezza multilingue, in particolare nell'affrontare lo squilibrio per le lingue a risorse inferiori in un dataset reale raccolto. Gli studi di ablazione sottolineano il ruolo critico della generazione di dati sintetici nel colmare lo squilibrio nei dati open-source tra l'inglese e altre lingue. Queste scoperte stabiliscono un approccio scalabile ed efficiente alla generazione di dati sintetici, aprendo la strada a miglioramenti nei modelli multilingue di guardrail per migliorare la sicurezza dei LLM. Il codice, il modello e i dati saranno resi open-source su https://github.com/yihedeng9/DuoGuard.

English

The rapid advancement of large language models (LLMs) has increased the need for guardrail models to ensure responsible use, particularly in detecting unsafe and illegal content. While substantial safety data exist in English, multilingual guardrail modeling remains underexplored due to the scarcity of open-source safety data in other languages. To address this gap, we propose a novel two-player Reinforcement Learning (RL) framework, where a generator and a guardrail model co-evolve adversarially to produce high-quality synthetic data for multilingual guardrail training. We theoretically formalize this interaction as a two-player game, proving convergence to a Nash equilibrium. Empirical evaluations show that our model \ours outperforms state-of-the-art models, achieving nearly 10% improvement over LlamaGuard3 (8B) on English benchmarks while being 4.5x faster at inference with a significantly smaller model (0.5B). We achieve substantial advancements in multilingual safety tasks, particularly in addressing the imbalance for lower-resource languages in a collected real dataset. Ablation studies emphasize the critical role of synthetic data generation in bridging the imbalance in open-source data between English and other languages. These findings establish a scalable and efficient approach to synthetic data generation, paving the way for improved multilingual guardrail models to enhance LLM safety. Code, model, and data will be open-sourced at https://github.com/yihedeng9/DuoGuard.