DuoGuard: Un marco impulsado por RL de dos jugadores para LLM multilingües con barandillas de protección.

DuoGuard: A Two-Player RL-Driven Framework for Multilingual LLM Guardrails

February 7, 2025

Autores: Yihe Deng, Yu Yang, Junkai Zhang, Wei Wang, Bo Li

cs.AI

Resumen

El rápido avance de los modelos de lenguaje grandes (LLMs) ha aumentado la necesidad de modelos de protección para garantizar un uso responsable, especialmente en la detección de contenido inseguro e ilegal. Aunque existen datos de seguridad sustanciales en inglés, la modelización de protección multilingüe sigue siendo poco explorada debido a la escasez de datos de seguridad de código abierto en otros idiomas. Para abordar esta brecha, proponemos un novedoso marco de Aprendizaje por Refuerzo (RL) de dos jugadores, donde un generador y un modelo de protección evolucionan adversarialmente para producir datos sintéticos de alta calidad para el entrenamiento multilingüe de protección. Formalizamos teóricamente esta interacción como un juego de dos jugadores, demostrando la convergencia a un equilibrio de Nash. Las evaluaciones empíricas muestran que nuestro modelo \ours supera a los modelos de vanguardia, logrando casi un 10% de mejora sobre LlamaGuard3 (8B) en pruebas en inglés, siendo 4.5 veces más rápido en inferencia con un modelo significativamente más pequeño (0.5B). Logramos avances sustanciales en tareas de seguridad multilingüe, especialmente en abordar el desequilibrio para idiomas con menos recursos en un conjunto de datos reales recopilado. Los estudios de abstracción enfatizan el papel crítico de la generación de datos sintéticos para superar el desequilibrio en los datos de código abierto entre el inglés y otros idiomas. Estos hallazgos establecen un enfoque escalable y eficiente para la generación de datos sintéticos, allanando el camino para mejorar los modelos de protección multilingüe y mejorar la seguridad de los LLM. El código, el modelo y los datos estarán disponibles en código abierto en https://github.com/yihedeng9/DuoGuard.

English

The rapid advancement of large language models (LLMs) has increased the need for guardrail models to ensure responsible use, particularly in detecting unsafe and illegal content. While substantial safety data exist in English, multilingual guardrail modeling remains underexplored due to the scarcity of open-source safety data in other languages. To address this gap, we propose a novel two-player Reinforcement Learning (RL) framework, where a generator and a guardrail model co-evolve adversarially to produce high-quality synthetic data for multilingual guardrail training. We theoretically formalize this interaction as a two-player game, proving convergence to a Nash equilibrium. Empirical evaluations show that our model \ours outperforms state-of-the-art models, achieving nearly 10% improvement over LlamaGuard3 (8B) on English benchmarks while being 4.5x faster at inference with a significantly smaller model (0.5B). We achieve substantial advancements in multilingual safety tasks, particularly in addressing the imbalance for lower-resource languages in a collected real dataset. Ablation studies emphasize the critical role of synthetic data generation in bridging the imbalance in open-source data between English and other languages. These findings establish a scalable and efficient approach to synthetic data generation, paving the way for improved multilingual guardrail models to enhance LLM safety. Code, model, and data will be open-sourced at https://github.com/yihedeng9/DuoGuard.