DuoGuard: Двухигроковая RL-ориентированная структура для мультиязычного LLM "Guardrails"

DuoGuard: A Two-Player RL-Driven Framework for Multilingual LLM Guardrails

February 7, 2025

Авторы: Yihe Deng, Yu Yang, Junkai Zhang, Wei Wang, Bo Li

cs.AI

Аннотация

Быстрое развитие крупных языковых моделей (LLM) увеличило потребность в моделях-ограждениях для обеспечения ответственного использования, особенно в обнаружении небезопасного и незаконного контента. В то время как значительные данные о безопасности существуют на английском языке, мультиязычное моделирование ограждений остается недостаточно исследованным из-за дефицита открытых данных о безопасности на других языках. Для решения этого пробела мы предлагаем новую двухигровую рамку обучения с подкреплением (RL), где генератор и модель-ограждение враждебно сосуществуют для создания высококачественных синтетических данных для обучения мультиязычным моделям-ограждениям. Мы теоретически формализуем это взаимодействие как игру двух игроков, доказывая сходимость к равновесию по Нэшу. Эмпирические оценки показывают, что наша модель \ours превосходит современные модели, достигая почти 10% улучшения по сравнению с LlamaGuard3 (8B) на английских бенчмарках, при этом она в 4,5 раза быстрее в выводе с значительно меньшей моделью (0,5B). Мы достигаем значительных прорывов в мультиязычных задачах безопасности, особенно в решении дисбаланса для языков с недостаточными ресурсами в собранном реальном наборе данных. Анализы абляции подчеркивают критическую роль генерации синтетических данных в преодолении дисбаланса в открытых данных между английским и другими языками. Эти результаты устанавливают масштабируемый и эффективный подход к генерации синтетических данных, открывая путь к улучшению мультиязычных моделей-ограждений для повышения безопасности LLM. Код, модель и данные будут опубликованы на https://github.com/yihedeng9/DuoGuard.

English

The rapid advancement of large language models (LLMs) has increased the need for guardrail models to ensure responsible use, particularly in detecting unsafe and illegal content. While substantial safety data exist in English, multilingual guardrail modeling remains underexplored due to the scarcity of open-source safety data in other languages. To address this gap, we propose a novel two-player Reinforcement Learning (RL) framework, where a generator and a guardrail model co-evolve adversarially to produce high-quality synthetic data for multilingual guardrail training. We theoretically formalize this interaction as a two-player game, proving convergence to a Nash equilibrium. Empirical evaluations show that our model \ours outperforms state-of-the-art models, achieving nearly 10% improvement over LlamaGuard3 (8B) on English benchmarks while being 4.5x faster at inference with a significantly smaller model (0.5B). We achieve substantial advancements in multilingual safety tasks, particularly in addressing the imbalance for lower-resource languages in a collected real dataset. Ablation studies emphasize the critical role of synthetic data generation in bridging the imbalance in open-source data between English and other languages. These findings establish a scalable and efficient approach to synthetic data generation, paving the way for improved multilingual guardrail models to enhance LLM safety. Code, model, and data will be open-sourced at https://github.com/yihedeng9/DuoGuard.