GuardReasoner: К защите на основе рассуждений для LLM.

GuardReasoner: Towards Reasoning-based LLM Safeguards

January 30, 2025

Авторы: Yue Liu, Hongcheng Gao, Shengfang Zhai, Jun Xia, Tianyi Wu, Zhiwei Xue, Yulin Chen, Kenji Kawaguchi, Jiaheng Zhang, Bryan Hooi

cs.AI

Аннотация

Поскольку LLM все чаще используются в приложениях, связанных с безопасностью, обеспечение их безопасности с помощью ограждений остается ключевой проблемой. В данной статье предлагается GuardReasoner, новый защитный механизм для LLM, направленный на обучение модели ограждения рассуждать. Конкретно, мы сначала создаем набор данных GuardReasonerTrain, состоящий из 127 тыс. образцов с 460 тыс. подробных шагов рассуждения. Затем мы представляем SFT рассуждения для разблокировки способности моделей ограждения к рассуждению. Кроме того, мы представляем сложные образцы DPO для дальнейшего укрепления их способности к рассуждению. Таким образом, GuardReasoner достигает лучшей производительности, объяснимости и обобщаемости. Обширные эксперименты и анализы на 13 бенчмарках 3 задач ограждения демонстрируют его превосходство. Заметно, что GuardReasoner 8B превосходит GPT-4o+CoT на 5.74% и LLaMA Guard 3 8B на 20.84% по среднему показателю F1. Мы предоставляем данные для обучения, код и модели различных масштабов (1B, 3B, 8B) GuardReasoner: https://github.com/yueliu1999/GuardReasoner/.

English

As LLMs increasingly impact safety-critical applications, ensuring their safety using guardrails remains a key challenge. This paper proposes GuardReasoner, a new safeguard for LLMs, by guiding the guard model to learn to reason. Concretely, we first create the GuardReasonerTrain dataset, which consists of 127K samples with 460K detailed reasoning steps. Then, we introduce reasoning SFT to unlock the reasoning capability of guard models. In addition, we present hard sample DPO to further strengthen their reasoning ability. In this manner, GuardReasoner achieves better performance, explainability, and generalizability. Extensive experiments and analyses on 13 benchmarks of 3 guardrail tasks demonstrate its superiority. Remarkably, GuardReasoner 8B surpasses GPT-4o+CoT by 5.74% and LLaMA Guard 3 8B by 20.84% F1 score on average. We release the training data, code, and models with different scales (1B, 3B, 8B) of GuardReasoner : https://github.com/yueliu1999/GuardReasoner/.