WildGuard: Ferramentas de Moderação Abrangentes para Riscos de Segurança, Jailbreaks e Recusas de LLMs

WildGuard: Open One-Stop Moderation Tools for Safety Risks, Jailbreaks, and Refusals of LLMs

June 26, 2024

Autores: Seungju Han, Kavel Rao, Allyson Ettinger, Liwei Jiang, Bill Yuchen Lin, Nathan Lambert, Yejin Choi, Nouha Dziri

cs.AI

Resumo

Apresentamos o WildGuard - uma ferramenta de moderação aberta e leve para a segurança do LLM que alcança três objetivos: (1) identificar intenções maliciosas nas solicitações dos usuários, (2) detectar riscos de segurança nas respostas do modelo e (3) determinar a taxa de recusa do modelo. Juntos, o WildGuard atende às crescentes necessidades de moderação automática de segurança e avaliação das interações do LLM, fornecendo uma ferramenta completa com precisão aprimorada e ampla cobertura em 13 categorias de risco. Enquanto ferramentas de moderação abertas existentes, como o Llama-Guard2, se saem razoavelmente bem na classificação de interações de modelo diretas, elas ficam muito atrás de um GPT-4 solicitado, especialmente na identificação de violações adversárias e na avaliação das recusas dos modelos, uma medida-chave para avaliar os comportamentos de segurança nas respostas do modelo. Para enfrentar esses desafios, construímos o WildGuardMix, um conjunto de dados de moderação de segurança multi-tarefa em grande escala e cuidadosamente equilibrado, com 92 mil exemplos rotulados que abrangem solicitações diretas e violações adversárias, combinadas com várias respostas de recusa e conformidade. O WildGuardMix é uma combinação do WildGuardTrain, os dados de treinamento do WildGuard, e do WildGuardTest, um conjunto de testes de moderação anotado por humanos de alta qualidade com 5 mil itens rotulados cobrindo amplos cenários de risco. Através de extensas avaliações no WildGuardTest e em dez benchmarks públicos existentes, mostramos que o WildGuard estabelece desempenho de ponta na moderação de segurança de código aberto em todas as três tarefas em comparação com dez modelos de moderação de código aberto existentes (por exemplo, até 26,4% de melhoria na detecção de recusas). Importante ressaltar que o WildGuard iguala e às vezes supera o desempenho do GPT-4 (por exemplo, até 3,9% de melhoria na identificação de danos na solicitação). O WildGuard atua como um moderador de segurança altamente eficaz em uma interface de LLM, reduzindo a taxa de sucesso de ataques de violação de 79,8% para 2,4%.

English

We introduce WildGuard -- an open, light-weight moderation tool for LLM safety that achieves three goals: (1) identifying malicious intent in user prompts, (2) detecting safety risks of model responses, and (3) determining model refusal rate. Together, WildGuard serves the increasing needs for automatic safety moderation and evaluation of LLM interactions, providing a one-stop tool with enhanced accuracy and broad coverage across 13 risk categories. While existing open moderation tools such as Llama-Guard2 score reasonably well in classifying straightforward model interactions, they lag far behind a prompted GPT-4, especially in identifying adversarial jailbreaks and in evaluating models' refusals, a key measure for evaluating safety behaviors in model responses. To address these challenges, we construct WildGuardMix, a large-scale and carefully balanced multi-task safety moderation dataset with 92K labeled examples that cover vanilla (direct) prompts and adversarial jailbreaks, paired with various refusal and compliance responses. WildGuardMix is a combination of WildGuardTrain, the training data of WildGuard, and WildGuardTest, a high-quality human-annotated moderation test set with 5K labeled items covering broad risk scenarios. Through extensive evaluations on WildGuardTest and ten existing public benchmarks, we show that WildGuard establishes state-of-the-art performance in open-source safety moderation across all the three tasks compared to ten strong existing open-source moderation models (e.g., up to 26.4% improvement on refusal detection). Importantly, WildGuard matches and sometimes exceeds GPT-4 performance (e.g., up to 3.9% improvement on prompt harmfulness identification). WildGuard serves as a highly effective safety moderator in an LLM interface, reducing the success rate of jailbreak attacks from 79.8% to 2.4%.