WildGuard: Offene All-in-One-Moderationstools für Sicherheitsrisiken, Jailbreaks und Ablehnungen von LLMs

WildGuard: Open One-Stop Moderation Tools for Safety Risks, Jailbreaks, and Refusals of LLMs

June 26, 2024

Autoren: Seungju Han, Kavel Rao, Allyson Ettinger, Liwei Jiang, Bill Yuchen Lin, Nathan Lambert, Yejin Choi, Nouha Dziri

cs.AI

Zusammenfassung

Wir stellen WildGuard vor - ein offenes, leichtgewichtiges Moderationstool für die Sicherheit von LLM, das drei Ziele erreicht: (1) die Identifizierung bösartiger Absichten in Benutzeranfragen, (2) die Erkennung von Sicherheitsrisiken bei Modellantworten und (3) die Bestimmung der Modellablehnungsrate. Zusammen erfüllt WildGuard die zunehmenden Anforderungen an die automatische Sicherheitsmoderation und Bewertung von LLM-Interaktionen und bietet ein All-in-One-Tool mit verbesserter Genauigkeit und umfassender Abdeckung von 13 Risikokategorien. Während bestehende offene Moderationstools wie Llama-Guard2 bei der Klassifizierung einfacher Modellinteraktionen recht gut abschneiden, hinken sie bei einem aufgeforderten GPT-4 weit hinterher, insbesondere bei der Identifizierung von adversen Jailbreaks und bei der Bewertung von Modellablehnungen, einem wichtigen Maßstab zur Bewertung des Sicherheitsverhaltens bei Modellantworten. Um diese Herausforderungen anzugehen, konstruieren wir WildGuardMix, einen groß angelegten und sorgfältig ausbalancierten Multitask-Sicherheitsmoderationsdatensatz mit 92.000 gelabelten Beispielen, die einfache (direkte) Anfragen und adversen Jailbreaks abdecken, gepaart mit verschiedenen Ablehnungs- und Compliance-Antworten. WildGuardMix ist eine Kombination aus WildGuardTrain, den Trainingsdaten von WildGuard, und WildGuardTest, einem hochwertigen, menschlich annotierten Moderationstestset mit 5.000 gelabelten Elementen, das breite Risikoszenarien abdeckt. Durch umfangreiche Evaluationen auf WildGuardTest und zehn bestehenden öffentlichen Benchmarks zeigen wir, dass WildGuard im Vergleich zu zehn starken bestehenden Open-Source-Moderationsmodellen (z. B. bis zu 26,4% Verbesserung bei der Ablehnungserkennung) eine Spitzenleistung bei der Open-Source-Sicherheitsmoderation über alle drei Aufgaben hinweg etabliert. WildGuard entspricht und übertrifft manchmal die Leistung von GPT-4 (z. B. bis zu 3,9% Verbesserung bei der Identifizierung der Schädlichkeit von Anfragen). WildGuard fungiert als äußerst effektiver Sicherheitsmoderator in einer LLM-Schnittstelle und reduziert die Erfolgsquote von Jailbreak-Angriffen von 79,8% auf 2,4%.

English

We introduce WildGuard -- an open, light-weight moderation tool for LLM safety that achieves three goals: (1) identifying malicious intent in user prompts, (2) detecting safety risks of model responses, and (3) determining model refusal rate. Together, WildGuard serves the increasing needs for automatic safety moderation and evaluation of LLM interactions, providing a one-stop tool with enhanced accuracy and broad coverage across 13 risk categories. While existing open moderation tools such as Llama-Guard2 score reasonably well in classifying straightforward model interactions, they lag far behind a prompted GPT-4, especially in identifying adversarial jailbreaks and in evaluating models' refusals, a key measure for evaluating safety behaviors in model responses. To address these challenges, we construct WildGuardMix, a large-scale and carefully balanced multi-task safety moderation dataset with 92K labeled examples that cover vanilla (direct) prompts and adversarial jailbreaks, paired with various refusal and compliance responses. WildGuardMix is a combination of WildGuardTrain, the training data of WildGuard, and WildGuardTest, a high-quality human-annotated moderation test set with 5K labeled items covering broad risk scenarios. Through extensive evaluations on WildGuardTest and ten existing public benchmarks, we show that WildGuard establishes state-of-the-art performance in open-source safety moderation across all the three tasks compared to ten strong existing open-source moderation models (e.g., up to 26.4% improvement on refusal detection). Importantly, WildGuard matches and sometimes exceeds GPT-4 performance (e.g., up to 3.9% improvement on prompt harmfulness identification). WildGuard serves as a highly effective safety moderator in an LLM interface, reducing the success rate of jailbreak attacks from 79.8% to 2.4%.