WildGuard: Strumenti Open One-Stop per la Moderazione di Rischi per la Sicurezza, Jailbreak e Rifiuti nei Modelli Linguistici di Grandi Dimensioni (LLM)

WildGuard: Open One-Stop Moderation Tools for Safety Risks, Jailbreaks, and Refusals of LLMs

June 26, 2024

Autori: Seungju Han, Kavel Rao, Allyson Ettinger, Liwei Jiang, Bill Yuchen Lin, Nathan Lambert, Yejin Choi, Nouha Dziri

cs.AI

Abstract

Presentiamo WildGuard – uno strumento di moderazione aperto e leggero per la sicurezza dei LLM che raggiunge tre obiettivi: (1) identificare intenti malevoli nei prompt degli utenti, (2) rilevare rischi di sicurezza nelle risposte del modello e (3) determinare il tasso di rifiuto del modello. Insieme, WildGuard soddisfa le crescenti esigenze di moderazione e valutazione automatica della sicurezza nelle interazioni con i LLM, fornendo uno strumento completo con maggiore accuratezza e ampia copertura su 13 categorie di rischio. Mentre gli strumenti di moderazione aperti esistenti, come Llama-Guard2, ottengono risultati ragionevoli nella classificazione delle interazioni dirette con i modelli, rimangono molto indietro rispetto a un GPT-4 sollecitato, specialmente nell'identificare jailbreak avversari e nel valutare i rifiuti dei modelli, una misura chiave per valutare i comportamenti di sicurezza nelle risposte dei modelli. Per affrontare queste sfide, abbiamo costruito WildGuardMix, un dataset di moderazione della sicurezza su larga scala e attentamente bilanciato per compiti multipli, con 92K esempi etichettati che coprono prompt semplici (diretti) e jailbreak avversari, accoppiati a varie risposte di rifiuto e conformità. WildGuardMix è una combinazione di WildGuardTrain, i dati di addestramento di WildGuard, e WildGuardTest, un set di test di moderazione di alta qualità annotato manualmente con 5K elementi etichettati che coprono ampi scenari di rischio. Attraverso valutazioni estensive su WildGuardTest e dieci benchmark pubblici esistenti, dimostriamo che WildGuard stabilisce prestazioni all'avanguardia nella moderazione della sicurezza open-source in tutti e tre i compiti rispetto a dieci modelli di moderazione open-source esistenti (ad esempio, fino al 26,4% di miglioramento nel rilevamento dei rifiuti). In modo significativo, WildGuard eguaglia e talvolta supera le prestazioni di GPT-4 (ad esempio, fino al 3,9% di miglioramento nell'identificazione della dannosità dei prompt). WildGuard funziona come un moderatore di sicurezza altamente efficace in un'interfaccia LLM, riducendo il tasso di successo degli attacchi jailbreak dal 79,8% al 2,4%.

English

We introduce WildGuard -- an open, light-weight moderation tool for LLM safety that achieves three goals: (1) identifying malicious intent in user prompts, (2) detecting safety risks of model responses, and (3) determining model refusal rate. Together, WildGuard serves the increasing needs for automatic safety moderation and evaluation of LLM interactions, providing a one-stop tool with enhanced accuracy and broad coverage across 13 risk categories. While existing open moderation tools such as Llama-Guard2 score reasonably well in classifying straightforward model interactions, they lag far behind a prompted GPT-4, especially in identifying adversarial jailbreaks and in evaluating models' refusals, a key measure for evaluating safety behaviors in model responses. To address these challenges, we construct WildGuardMix, a large-scale and carefully balanced multi-task safety moderation dataset with 92K labeled examples that cover vanilla (direct) prompts and adversarial jailbreaks, paired with various refusal and compliance responses. WildGuardMix is a combination of WildGuardTrain, the training data of WildGuard, and WildGuardTest, a high-quality human-annotated moderation test set with 5K labeled items covering broad risk scenarios. Through extensive evaluations on WildGuardTest and ten existing public benchmarks, we show that WildGuard establishes state-of-the-art performance in open-source safety moderation across all the three tasks compared to ten strong existing open-source moderation models (e.g., up to 26.4% improvement on refusal detection). Importantly, WildGuard matches and sometimes exceeds GPT-4 performance (e.g., up to 3.9% improvement on prompt harmfulness identification). WildGuard serves as a highly effective safety moderator in an LLM interface, reducing the success rate of jailbreak attacks from 79.8% to 2.4%.