WildGuard : Outils de modération tout-en-un pour les risques de sécurité, les contournements et les refus des LLM

WildGuard: Open One-Stop Moderation Tools for Safety Risks, Jailbreaks, and Refusals of LLMs

June 26, 2024

Auteurs: Seungju Han, Kavel Rao, Allyson Ettinger, Liwei Jiang, Bill Yuchen Lin, Nathan Lambert, Yejin Choi, Nouha Dziri

cs.AI

Résumé

Nous présentons WildGuard — un outil de modération ouvert et léger pour la sécurité des LLM (modèles de langage) qui atteint trois objectifs : (1) identifier les intentions malveillantes dans les invites utilisateur, (2) détecter les risques de sécurité dans les réponses du modèle, et (3) déterminer le taux de refus du modèle. Ensemble, WildGuard répond aux besoins croissants en matière de modération et d'évaluation automatiques de la sécurité des interactions avec les LLM, en fournissant un outil tout-en-un avec une précision accrue et une couverture étendue sur 13 catégories de risques. Bien que les outils de modération ouverts existants, tels que Llama-Guard2, obtiennent des scores raisonnables dans la classification des interactions simples avec les modèles, ils sont loin derrière un GPT-4 sollicité, en particulier dans l'identification des jailbreaks adversariaux et dans l'évaluation des refus des modèles, une mesure clé pour évaluer les comportements de sécurité dans les réponses des modèles. Pour relever ces défis, nous avons construit WildGuardMix, un ensemble de données de modération de sécurité multi-tâches à grande échelle et soigneusement équilibré, comprenant 92 000 exemples étiquetés qui couvrent des invites directes (vanilla) et des jailbreaks adversariaux, associés à diverses réponses de refus et de conformité. WildGuardMix est une combinaison de WildGuardTrain, les données d'entraînement de WildGuard, et de WildGuardTest, un ensemble de test de modération de haute qualité annoté manuellement, comprenant 5 000 éléments étiquetés couvrant un large éventail de scénarios de risques. Grâce à des évaluations approfondies sur WildGuardTest et dix benchmarks publics existants, nous montrons que WildGuard établit des performances de pointe en matière de modération de sécurité open-source pour les trois tâches, par rapport à dix modèles de modération open-source existants (par exemple, une amélioration allant jusqu'à 26,4 % dans la détection des refus). Fait important, WildGuard égale et dépasse parfois les performances de GPT-4 (par exemple, une amélioration allant jusqu'à 3,9 % dans l'identification de la dangerosité des invites). WildGuard sert de modérateur de sécurité hautement efficace dans une interface LLM, réduisant le taux de réussite des attaques de jailbreak de 79,8 % à 2,4 %.

English

We introduce WildGuard -- an open, light-weight moderation tool for LLM safety that achieves three goals: (1) identifying malicious intent in user prompts, (2) detecting safety risks of model responses, and (3) determining model refusal rate. Together, WildGuard serves the increasing needs for automatic safety moderation and evaluation of LLM interactions, providing a one-stop tool with enhanced accuracy and broad coverage across 13 risk categories. While existing open moderation tools such as Llama-Guard2 score reasonably well in classifying straightforward model interactions, they lag far behind a prompted GPT-4, especially in identifying adversarial jailbreaks and in evaluating models' refusals, a key measure for evaluating safety behaviors in model responses. To address these challenges, we construct WildGuardMix, a large-scale and carefully balanced multi-task safety moderation dataset with 92K labeled examples that cover vanilla (direct) prompts and adversarial jailbreaks, paired with various refusal and compliance responses. WildGuardMix is a combination of WildGuardTrain, the training data of WildGuard, and WildGuardTest, a high-quality human-annotated moderation test set with 5K labeled items covering broad risk scenarios. Through extensive evaluations on WildGuardTest and ten existing public benchmarks, we show that WildGuard establishes state-of-the-art performance in open-source safety moderation across all the three tasks compared to ten strong existing open-source moderation models (e.g., up to 26.4% improvement on refusal detection). Importantly, WildGuard matches and sometimes exceeds GPT-4 performance (e.g., up to 3.9% improvement on prompt harmfulness identification). WildGuard serves as a highly effective safety moderator in an LLM interface, reducing the success rate of jailbreak attacks from 79.8% to 2.4%.