DuoGuard: Ein Zwei-Spieler RL-gesteuertes Framework für mehrsprachige LLM-Leitplanken

DuoGuard: A Two-Player RL-Driven Framework for Multilingual LLM Guardrails

February 7, 2025

Autoren: Yihe Deng, Yu Yang, Junkai Zhang, Wei Wang, Bo Li

cs.AI

Zusammenfassung

Der rasante Fortschritt großer Sprachmodelle (Large Language Models, LLMs) hat den Bedarf an Leitplankenmodellen erhöht, um eine verantwortungsbewusste Nutzung sicherzustellen, insbesondere bei der Erkennung von unsicheren und illegalen Inhalten. Während umfangreiche Sicherheitsdaten in Englisch vorhanden sind, ist das mehrsprachige Leitplankenmodellieren aufgrund der Knappheit von Open-Source-Sicherheitsdaten in anderen Sprachen noch wenig erforscht. Um diese Lücke zu schließen, schlagen wir ein neuartiges Zwei-Spieler-Verstärkendes Lernen (Reinforcement Learning, RL)-Framework vor, in dem ein Generator und ein Leitplankenmodell adversativ miteinander interagieren, um hochwertige synthetische Daten für das mehrsprachige Leitplanken-Training zu erzeugen. Wir formalisieren diese Interaktion theoretisch als ein Zwei-Spieler-Spiel und zeigen die Konvergenz zu einem Nash-Gleichgewicht. Empirische Bewertungen zeigen, dass unser Modell \ours die Modelle der Spitzenklasse übertrifft und auf Englisch-Benchmarks eine Verbesserung von fast 10% gegenüber LlamaGuard3 (8B) erzielt, während es bei der Inferenz 4,5-mal schneller ist und ein deutlich kleineres Modell (0,5B) verwendet. Wir erzielen bedeutende Fortschritte bei mehrsprachigen Sicherheitsaufgaben, insbesondere bei der Bewältigung des Ungleichgewichts für Sprachen mit geringeren Ressourcen in einem gesammelten realen Datensatz. Ablationsstudien betonen die entscheidende Rolle der synthetischen Datenerzeugung bei der Überbrückung des Ungleichgewichts bei Open-Source-Daten zwischen Englisch und anderen Sprachen. Diese Ergebnisse etablieren einen skalierbaren und effizienten Ansatz zur Erzeugung synthetischer Daten und ebnet den Weg für verbesserte mehrsprachige Leitplankenmodelle zur Verbesserung der Sicherheit von LLMs. Der Code, das Modell und die Daten werden unter https://github.com/yihedeng9/DuoGuard als Open Source verfügbar sein.

English

The rapid advancement of large language models (LLMs) has increased the need for guardrail models to ensure responsible use, particularly in detecting unsafe and illegal content. While substantial safety data exist in English, multilingual guardrail modeling remains underexplored due to the scarcity of open-source safety data in other languages. To address this gap, we propose a novel two-player Reinforcement Learning (RL) framework, where a generator and a guardrail model co-evolve adversarially to produce high-quality synthetic data for multilingual guardrail training. We theoretically formalize this interaction as a two-player game, proving convergence to a Nash equilibrium. Empirical evaluations show that our model \ours outperforms state-of-the-art models, achieving nearly 10% improvement over LlamaGuard3 (8B) on English benchmarks while being 4.5x faster at inference with a significantly smaller model (0.5B). We achieve substantial advancements in multilingual safety tasks, particularly in addressing the imbalance for lower-resource languages in a collected real dataset. Ablation studies emphasize the critical role of synthetic data generation in bridging the imbalance in open-source data between English and other languages. These findings establish a scalable and efficient approach to synthetic data generation, paving the way for improved multilingual guardrail models to enhance LLM safety. Code, model, and data will be open-sourced at https://github.com/yihedeng9/DuoGuard.