SafeKey: Amplificare le intuizioni dei momenti "aha" per il ragionamento sulla sicurezza

SafeKey: Amplifying Aha-Moment Insights for Safety Reasoning

May 22, 2025

Autori: Kaiwen Zhou, Xuandong Zhao, Gaowen Liu, Jayanth Srinivasa, Aosong Feng, Dawn Song, Xin Eric Wang

cs.AI

Abstract

I Large Reasoning Models (LRM) introducono un nuovo paradigma generativo basato sul ragionamento esplicito prima di rispondere, portando a notevoli miglioramenti nei compiti complessi. Tuttavia, presentano significativi rischi per la sicurezza contro query dannose e attacchi avversari. Sebbene i recenti sforzi principali per la sicurezza degli LRM, come il fine-tuning supervisionato (SFT), migliorino le prestazioni di sicurezza, abbiamo osservato che i modelli allineati con SFT faticano a generalizzare su prompt di jailbreak non visti. Dopo un'analisi approfondita della generazione degli LRM, abbiamo identificato un "momento aha" di sicurezza che può attivare il ragionamento di sicurezza e portare a una risposta sicura. Questo momento aha appare tipicamente nella "frase chiave", che segue il processo di comprensione della query da parte del modello e può indicare se il modello procederà in modo sicuro. Sulla base di queste intuizioni, proponiamo SafeKey, che include due obiettivi complementari per attivare meglio il momento aha di sicurezza nella frase chiave: (1) una Dual-Path Safety Head per potenziare il segnale di sicurezza nelle rappresentazioni interne del modello prima della frase chiave, e (2) un obiettivo di Query-Mask Modeling per migliorare l'attenzione del modello sulla comprensione della query, che contiene importanti indizi di sicurezza. Esperimenti su molteplici benchmark di sicurezza dimostrano che i nostri metodi migliorano significativamente la generalizzazione della sicurezza su un'ampia gamma di attacchi di jailbreak e prompt dannosi fuori distribuzione, riducendo il tasso medio di dannosità del 9,6%, mantenendo al contempo le capacità generali. La nostra analisi rivela come SafeKey migliori la sicurezza rimodellando l'attenzione interna e migliorando la qualità delle rappresentazioni nascoste.

English

Large Reasoning Models (LRMs) introduce a new generation paradigm of explicitly reasoning before answering, leading to remarkable improvements in complex tasks. However, they pose great safety risks against harmful queries and adversarial attacks. While recent mainstream safety efforts on LRMs, supervised fine-tuning (SFT), improve safety performance, we find that SFT-aligned models struggle to generalize to unseen jailbreak prompts. After thorough investigation of LRMs' generation, we identify a safety aha moment that can activate safety reasoning and lead to a safe response. This aha moment typically appears in the `key sentence', which follows models' query understanding process and can indicate whether the model will proceed safely. Based on these insights, we propose SafeKey, including two complementary objectives to better activate the safety aha moment in the key sentence: (1) a Dual-Path Safety Head to enhance the safety signal in the model's internal representations before the key sentence, and (2) a Query-Mask Modeling objective to improve the models' attention on its query understanding, which has important safety hints. Experiments across multiple safety benchmarks demonstrate that our methods significantly improve safety generalization to a wide range of jailbreak attacks and out-of-distribution harmful prompts, lowering the average harmfulness rate by 9.6\%, while maintaining general abilities. Our analysis reveals how SafeKey enhances safety by reshaping internal attention and improving the quality of hidden representations.