DuoGuard: Um Framework Dirigido por RL de Dois Jogadores para LLM Multilíngue Guardrails

DuoGuard: A Two-Player RL-Driven Framework for Multilingual LLM Guardrails

February 7, 2025

Autores: Yihe Deng, Yu Yang, Junkai Zhang, Wei Wang, Bo Li

cs.AI

Resumo

O rápido avanço dos grandes modelos de linguagem (LLMs) aumentou a necessidade de modelos de proteção para garantir o uso responsável, especialmente na detecção de conteúdo inseguro e ilegal. Embora existam dados substanciais de segurança em inglês, a modelagem multilíngue de proteção ainda é pouco explorada devido à escassez de dados de segurança de código aberto em outros idiomas. Para abordar essa lacuna, propomos um novo framework de Aprendizado por Reforço (RL) de dois jogadores, onde um gerador e um modelo de proteção coevoluem adversarialmente para produzir dados sintéticos de alta qualidade para treinamento multilíngue de proteção. Teoricamente formalizamos essa interação como um jogo de dois jogadores, demonstrando a convergência para um equilíbrio de Nash. Avaliações empíricas mostram que nosso modelo supera os modelos de ponta, alcançando quase 10% de melhoria em relação ao LlamaGuard3 (8B) em benchmarks em inglês, sendo 4,5 vezes mais rápido na inferência com um modelo significativamente menor (0,5B). Alcançamos avanços substanciais em tarefas de segurança multilíngue, especialmente ao lidar com o desequilíbrio para idiomas com menos recursos em um conjunto de dados reais coletados. Estudos de ablação enfatizam o papel crítico da geração de dados sintéticos na superação do desequilíbrio nos dados de código aberto entre o inglês e outros idiomas. Essas descobertas estabelecem uma abordagem escalável e eficiente para a geração de dados sintéticos, abrindo caminho para aprimorar modelos multilíngues de proteção para aprimorar a segurança dos LLMs. O código, modelo e dados serão disponibilizados em código aberto em https://github.com/yihedeng9/DuoGuard.

English

The rapid advancement of large language models (LLMs) has increased the need for guardrail models to ensure responsible use, particularly in detecting unsafe and illegal content. While substantial safety data exist in English, multilingual guardrail modeling remains underexplored due to the scarcity of open-source safety data in other languages. To address this gap, we propose a novel two-player Reinforcement Learning (RL) framework, where a generator and a guardrail model co-evolve adversarially to produce high-quality synthetic data for multilingual guardrail training. We theoretically formalize this interaction as a two-player game, proving convergence to a Nash equilibrium. Empirical evaluations show that our model \ours outperforms state-of-the-art models, achieving nearly 10% improvement over LlamaGuard3 (8B) on English benchmarks while being 4.5x faster at inference with a significantly smaller model (0.5B). We achieve substantial advancements in multilingual safety tasks, particularly in addressing the imbalance for lower-resource languages in a collected real dataset. Ablation studies emphasize the critical role of synthetic data generation in bridging the imbalance in open-source data between English and other languages. These findings establish a scalable and efficient approach to synthetic data generation, paving the way for improved multilingual guardrail models to enhance LLM safety. Code, model, and data will be open-sourced at https://github.com/yihedeng9/DuoGuard.