WildGuard: Herramientas de moderación abiertas y todo en uno para riesgos de seguridad, jailbreaks y rechazos en LLMs

WildGuard: Open One-Stop Moderation Tools for Safety Risks, Jailbreaks, and Refusals of LLMs

June 26, 2024

Autores: Seungju Han, Kavel Rao, Allyson Ettinger, Liwei Jiang, Bill Yuchen Lin, Nathan Lambert, Yejin Choi, Nouha Dziri

cs.AI

Resumen

Presentamos WildGuard, una herramienta de moderación ligera y abierta para la seguridad de LLM que cumple tres objetivos: (1) identificar intenciones maliciosas en las indicaciones de los usuarios, (2) detectar riesgos de seguridad en las respuestas del modelo, y (3) determinar la tasa de rechazo del modelo. En conjunto, WildGuard satisface las crecientes necesidades de moderación y evaluación automática de la seguridad en las interacciones con LLM, ofreciendo una herramienta integral con mayor precisión y amplia cobertura en 13 categorías de riesgo. Si bien herramientas de moderación abiertas existentes, como Llama-Guard2, obtienen puntuaciones razonables en la clasificación de interacciones directas con el modelo, se quedan muy atrás de un GPT-4 guiado, especialmente en la identificación de jailbreaks adversarios y en la evaluación de los rechazos del modelo, una métrica clave para evaluar comportamientos de seguridad en las respuestas del modelo. Para abordar estos desafíos, construimos WildGuardMix, un conjunto de datos de moderación de seguridad a gran escala y cuidadosamente equilibrado con 92K ejemplos etiquetados que cubren indicaciones directas (vanilla) y jailbreaks adversarios, junto con diversas respuestas de rechazo y cumplimiento. WildGuardMix es una combinación de WildGuardTrain, los datos de entrenamiento de WildGuard, y WildGuardTest, un conjunto de pruebas de moderación anotado manualmente y de alta calidad con 5K elementos etiquetados que abarcan escenarios de riesgo variados. A través de evaluaciones exhaustivas en WildGuardTest y diez benchmarks públicos existentes, demostramos que WildGuard establece un rendimiento de vanguardia en la moderación de seguridad de código abierto en las tres tareas, en comparación con diez modelos de moderación de código abierto existentes (por ejemplo, una mejora de hasta el 26.4% en la detección de rechazos). Es importante destacar que WildGuard iguala y, en ocasiones, supera el rendimiento de GPT-4 (por ejemplo, una mejora de hasta el 3.9% en la identificación de indicaciones dañinas). WildGuard funciona como un moderador de seguridad altamente efectivo en una interfaz de LLM, reduciendo la tasa de éxito de los ataques de jailbreak del 79.8% al 2.4%.

English

We introduce WildGuard -- an open, light-weight moderation tool for LLM safety that achieves three goals: (1) identifying malicious intent in user prompts, (2) detecting safety risks of model responses, and (3) determining model refusal rate. Together, WildGuard serves the increasing needs for automatic safety moderation and evaluation of LLM interactions, providing a one-stop tool with enhanced accuracy and broad coverage across 13 risk categories. While existing open moderation tools such as Llama-Guard2 score reasonably well in classifying straightforward model interactions, they lag far behind a prompted GPT-4, especially in identifying adversarial jailbreaks and in evaluating models' refusals, a key measure for evaluating safety behaviors in model responses. To address these challenges, we construct WildGuardMix, a large-scale and carefully balanced multi-task safety moderation dataset with 92K labeled examples that cover vanilla (direct) prompts and adversarial jailbreaks, paired with various refusal and compliance responses. WildGuardMix is a combination of WildGuardTrain, the training data of WildGuard, and WildGuardTest, a high-quality human-annotated moderation test set with 5K labeled items covering broad risk scenarios. Through extensive evaluations on WildGuardTest and ten existing public benchmarks, we show that WildGuard establishes state-of-the-art performance in open-source safety moderation across all the three tasks compared to ten strong existing open-source moderation models (e.g., up to 26.4% improvement on refusal detection). Importantly, WildGuard matches and sometimes exceeds GPT-4 performance (e.g., up to 3.9% improvement on prompt harmfulness identification). WildGuard serves as a highly effective safety moderator in an LLM interface, reducing the success rate of jailbreak attacks from 79.8% to 2.4%.