GuardReasoner: Auf dem Weg zu LLM-Schutzmechanismen auf Grundlage von Schlussfolgerungen.

GuardReasoner: Towards Reasoning-based LLM Safeguards

January 30, 2025

Autoren: Yue Liu, Hongcheng Gao, Shengfang Zhai, Jun Xia, Tianyi Wu, Zhiwei Xue, Yulin Chen, Kenji Kawaguchi, Jiaheng Zhang, Bryan Hooi

cs.AI

Zusammenfassung

Da LLMs zunehmend sicherheitskritische Anwendungen beeinflussen, bleibt die Gewährleistung ihrer Sicherheit mithilfe von Leitplanken eine zentrale Herausforderung. Dieses Papier schlägt GuardReasoner vor, eine neue Sicherheitsvorkehrung für LLMs, indem das Leitplankenmodell angeleitet wird, das Denken zu erlernen. Konkret erstellen wir zunächst den GuardReasonerTrain Datensatz, der aus 127.000 Beispielen mit 460.000 detaillierten Denkschritten besteht. Anschließend führen wir das Denk-SFT ein, um die Denkfähigkeit der Leitplankenmodelle freizuschalten. Darüber hinaus präsentieren wir das schwierige Beispiel DPO, um ihre Denkfähigkeit weiter zu stärken. Auf diese Weise erzielt GuardReasoner bessere Leistung, Erklärbarkeit und Verallgemeinerungsfähigkeit. Umfangreiche Experimente und Analysen an 13 Benchmarks von 3 Leitplankenaufgaben zeigen seine Überlegenheit. Bemerkenswert übertrifft GuardReasoner 8B GPT-4o+CoT um 5,74% und LLaMA Guard 3 8B um 20,84% F1-Score im Durchschnitt. Wir veröffentlichen die Trainingsdaten, den Code und die Modelle mit verschiedenen Skalen (1B, 3B, 8B) von GuardReasoner unter: https://github.com/yueliu1999/GuardReasoner/.

English

As LLMs increasingly impact safety-critical applications, ensuring their safety using guardrails remains a key challenge. This paper proposes GuardReasoner, a new safeguard for LLMs, by guiding the guard model to learn to reason. Concretely, we first create the GuardReasonerTrain dataset, which consists of 127K samples with 460K detailed reasoning steps. Then, we introduce reasoning SFT to unlock the reasoning capability of guard models. In addition, we present hard sample DPO to further strengthen their reasoning ability. In this manner, GuardReasoner achieves better performance, explainability, and generalizability. Extensive experiments and analyses on 13 benchmarks of 3 guardrail tasks demonstrate its superiority. Remarkably, GuardReasoner 8B surpasses GPT-4o+CoT by 5.74% and LLaMA Guard 3 8B by 20.84% F1 score on average. We release the training data, code, and models with different scales (1B, 3B, 8B) of GuardReasoner : https://github.com/yueliu1999/GuardReasoner/.