WildGuard: открытые универсальные инструменты модерации для обеспечения безопасности, предотвращения обхода защиты и отказов в обучении моделями языкового моделирования.

WildGuard: Open One-Stop Moderation Tools for Safety Risks, Jailbreaks, and Refusals of LLMs

June 26, 2024

Авторы: Seungju Han, Kavel Rao, Allyson Ettinger, Liwei Jiang, Bill Yuchen Lin, Nathan Lambert, Yejin Choi, Nouha Dziri

cs.AI

Аннотация

Мы представляем WildGuard - открытый, легкий инструмент модерации для обеспечения безопасности LLM, достигающий трех целей: (1) выявление злонамеренных намерений в запросах пользователей, (2) обнаружение рисков безопасности в ответах модели и (3) определение уровня отказов модели. Вместе WildGuard отвечает растущим потребностям в автоматической модерации безопасности и оценке взаимодействий с LLM, предоставляя универсальный инструмент с улучшенной точностью и широким охватом по 13 категориям рисков. В то время как существующие открытые инструменты модерации, такие как Llama-Guard2, довольно хорошо справляются с классификацией прямолинейных взаимодействий с моделью, они значительно уступают вызываемому GPT-4, особенно в выявлении атак "адверсариального освобождения" и в оценке отказов моделей, ключевого показателя оценки поведения безопасности в ответах модели. Для решения этих проблем мы создаем WildGuardMix - масштабный и тщательно сбалансированный многозадачный набор данных для модерации безопасности с 92 тыс. размеченных примеров, охватывающих обычные (прямые) запросы и атаки "адверсариального освобождения", сопровождаемые различными ответами отказа и согласия. WildGuardMix представляет собой комбинацию WildGuardTrain, обучающих данных WildGuard, и WildGuardTest - высококачественного тестового набора данных с 5 тыс. размеченных элементов, охватывающих широкий спектр рисковых сценариев. Через обширные оценки на WildGuardTest и десяти существующих общедоступных бенчмарках мы показываем, что WildGuard устанавливает передовую производительность в открытой модерации безопасности по всем трем задачам по сравнению с десятью сильными существующими моделями открытой модерации (например, до 26,4% улучшения в обнаружении отказов). Важно, что WildGuard соответствует и иногда превосходит производительность GPT-4 (например, до 3,9% улучшения в идентификации вредности запроса). WildGuard служит весьма эффективным модератором безопасности в интерфейсе LLM, снижая уровень успешности атак "освобождения" с 79,8% до 2,4%.

English

We introduce WildGuard -- an open, light-weight moderation tool for LLM safety that achieves three goals: (1) identifying malicious intent in user prompts, (2) detecting safety risks of model responses, and (3) determining model refusal rate. Together, WildGuard serves the increasing needs for automatic safety moderation and evaluation of LLM interactions, providing a one-stop tool with enhanced accuracy and broad coverage across 13 risk categories. While existing open moderation tools such as Llama-Guard2 score reasonably well in classifying straightforward model interactions, they lag far behind a prompted GPT-4, especially in identifying adversarial jailbreaks and in evaluating models' refusals, a key measure for evaluating safety behaviors in model responses. To address these challenges, we construct WildGuardMix, a large-scale and carefully balanced multi-task safety moderation dataset with 92K labeled examples that cover vanilla (direct) prompts and adversarial jailbreaks, paired with various refusal and compliance responses. WildGuardMix is a combination of WildGuardTrain, the training data of WildGuard, and WildGuardTest, a high-quality human-annotated moderation test set with 5K labeled items covering broad risk scenarios. Through extensive evaluations on WildGuardTest and ten existing public benchmarks, we show that WildGuard establishes state-of-the-art performance in open-source safety moderation across all the three tasks compared to ten strong existing open-source moderation models (e.g., up to 26.4% improvement on refusal detection). Importantly, WildGuard matches and sometimes exceeds GPT-4 performance (e.g., up to 3.9% improvement on prompt harmfulness identification). WildGuard serves as a highly effective safety moderator in an LLM interface, reducing the success rate of jailbreak attacks from 79.8% to 2.4%.