DuoGuard: Een op twee spelers gebaseerd RL-framework voor meertalige LLM-beveiligingen

DuoGuard: A Two-Player RL-Driven Framework for Multilingual LLM Guardrails

February 7, 2025

Auteurs: Yihe Deng, Yu Yang, Junkai Zhang, Wei Wang, Bo Li

cs.AI

Samenvatting

De snelle vooruitgang van grote taalmodellen (LLM's) heeft de behoefte aan guardrailmodellen vergroot om verantwoord gebruik te waarborgen, met name bij het detecteren van onveilige en illegale inhoud. Hoewel er aanzienlijke veiligheidsgegevens beschikbaar zijn in het Engels, blijft multilingual guardrailmodellering onderbelicht vanwege de schaarste aan open-source veiligheidsgegevens in andere talen. Om deze lacune aan te pakken, stellen we een nieuw tweespeler Reinforcement Learning (RL) kader voor, waarbij een generator en een guardrailmodel op een vijandige manier samen evolueren om hoogwaardige synthetische gegevens te produceren voor multilingual guardrailtraining. We formaliseren deze interactie theoretisch als een tweespelerspel, waarbij we aantonen dat er convergentie is naar een Nash-evenwicht. Empirische evaluaties tonen aan dat ons model \ours beter presteert dan state-of-the-art modellen, met bijna 10% verbetering ten opzichte van LlamaGuard3 (8B) op Engelse benchmarks, terwijl het 4,5x sneller is bij inferentie met een aanzienlijk kleiner model (0,5B). We boeken aanzienlijke vooruitgang in multilingual veiligheidstaken, met name bij het aanpakken van de onbalans voor talen met minder bronnen in een verzamelde echte dataset. Ablatiestudies benadrukken de cruciale rol van synthetische gegevensgeneratie bij het overbruggen van de onbalans in open-source gegevens tussen het Engels en andere talen. Deze bevindingen leggen een schaalbare en efficiënte benadering van synthetische gegevensgeneratie vast, waardoor de weg wordt vrijgemaakt voor verbeterde multilingual guardrailmodellen om de veiligheid van LLM's te verbeteren. De code, het model en de gegevens zullen open-source beschikbaar zijn op https://github.com/yihedeng9/DuoGuard.

English

The rapid advancement of large language models (LLMs) has increased the need for guardrail models to ensure responsible use, particularly in detecting unsafe and illegal content. While substantial safety data exist in English, multilingual guardrail modeling remains underexplored due to the scarcity of open-source safety data in other languages. To address this gap, we propose a novel two-player Reinforcement Learning (RL) framework, where a generator and a guardrail model co-evolve adversarially to produce high-quality synthetic data for multilingual guardrail training. We theoretically formalize this interaction as a two-player game, proving convergence to a Nash equilibrium. Empirical evaluations show that our model \ours outperforms state-of-the-art models, achieving nearly 10% improvement over LlamaGuard3 (8B) on English benchmarks while being 4.5x faster at inference with a significantly smaller model (0.5B). We achieve substantial advancements in multilingual safety tasks, particularly in addressing the imbalance for lower-resource languages in a collected real dataset. Ablation studies emphasize the critical role of synthetic data generation in bridging the imbalance in open-source data between English and other languages. These findings establish a scalable and efficient approach to synthetic data generation, paving the way for improved multilingual guardrail models to enhance LLM safety. Code, model, and data will be open-sourced at https://github.com/yihedeng9/DuoGuard.