SafeKey : Amplification des insights de type "Aha-Moment" pour le raisonnement de sécurité

SafeKey: Amplifying Aha-Moment Insights for Safety Reasoning

May 22, 2025

Auteurs: Kaiwen Zhou, Xuandong Zhao, Gaowen Liu, Jayanth Srinivasa, Aosong Feng, Dawn Song, Xin Eric Wang

cs.AI

Résumé

Les Modèles de Raisonnement à Grande Échelle (LRMs) introduisent un nouveau paradigme de génération basé sur un raisonnement explicite avant de répondre, conduisant à des améliorations remarquables dans les tâches complexes. Cependant, ils présentent des risques de sécurité importants face aux requêtes malveillantes et aux attaques adverses. Bien que les efforts récents en matière de sécurité sur les LRMs, notamment le fine-tuning supervisé (SFT), améliorent les performances de sécurité, nous constatons que les modèles alignés par SFT peinent à généraliser face à des prompts de contournement inédits. Après une analyse approfondie de la génération des LRMs, nous identifions un moment de prise de conscience de sécurité qui peut activer le raisonnement de sécurité et conduire à une réponse sûre. Ce moment de prise de conscience apparaît généralement dans la `phrase clé', qui suit le processus de compréhension de la requête par le modèle et peut indiquer si le modèle procédera de manière sûre. Sur la base de ces observations, nous proposons SafeKey, incluant deux objectifs complémentaires pour mieux activer le moment de prise de conscience de sécurité dans la phrase clé : (1) une Tête de Sécurité à Double Voie pour renforcer le signal de sécurité dans les représentations internes du modèle avant la phrase clé, et (2) un objectif de Modélisation Masquée de la Requête pour améliorer l'attention du modèle sur sa compréhension de la requête, qui contient des indices de sécurité importants. Les expériences sur plusieurs benchmarks de sécurité démontrent que nos méthodes améliorent significativement la généralisation de la sécurité face à un large éventail d'attaques de contournement et de prompts malveillants hors distribution, réduisant le taux moyen de nocivité de 9,6\%, tout en maintenant les capacités générales. Notre analyse révèle comment SafeKey améliore la sécurité en remodelant l'attention interne et en améliorant la qualité des représentations cachées.

English

Large Reasoning Models (LRMs) introduce a new generation paradigm of explicitly reasoning before answering, leading to remarkable improvements in complex tasks. However, they pose great safety risks against harmful queries and adversarial attacks. While recent mainstream safety efforts on LRMs, supervised fine-tuning (SFT), improve safety performance, we find that SFT-aligned models struggle to generalize to unseen jailbreak prompts. After thorough investigation of LRMs' generation, we identify a safety aha moment that can activate safety reasoning and lead to a safe response. This aha moment typically appears in the `key sentence', which follows models' query understanding process and can indicate whether the model will proceed safely. Based on these insights, we propose SafeKey, including two complementary objectives to better activate the safety aha moment in the key sentence: (1) a Dual-Path Safety Head to enhance the safety signal in the model's internal representations before the key sentence, and (2) a Query-Mask Modeling objective to improve the models' attention on its query understanding, which has important safety hints. Experiments across multiple safety benchmarks demonstrate that our methods significantly improve safety generalization to a wide range of jailbreak attacks and out-of-distribution harmful prompts, lowering the average harmfulness rate by 9.6\%, while maintaining general abilities. Our analysis reveals how SafeKey enhances safety by reshaping internal attention and improving the quality of hidden representations.