SafeKey: Amplificando Insights de Momento "Aha" para Raciocínio de Segurança
SafeKey: Amplifying Aha-Moment Insights for Safety Reasoning
May 22, 2025
Autores: Kaiwen Zhou, Xuandong Zhao, Gaowen Liu, Jayanth Srinivasa, Aosong Feng, Dawn Song, Xin Eric Wang
cs.AI
Resumo
Os Modelos de Raciocínio de Grande Escala (LRMs) introduzem um novo paradigma de geração que envolve o raciocínio explícito antes de responder, resultando em melhorias notáveis em tarefas complexas. No entanto, eles apresentam grandes riscos de segurança contra consultas maliciosas e ataques adversariais. Embora os esforços recentes de segurança em LRMs, como o ajuste fino supervisionado (SFT), melhorem o desempenho de segurança, descobrimos que os modelos alinhados com SFT têm dificuldade em generalizar para prompts de jailbreak não vistos. Após uma investigação detalhada da geração dos LRMs, identificamos um "momento de insight de segurança" que pode ativar o raciocínio de segurança e levar a uma resposta segura. Esse momento de insight geralmente aparece na "frase-chave", que segue o processo de compreensão da consulta pelo modelo e pode indicar se o modelo procederá de forma segura. Com base nessas percepções, propomos o SafeKey, que inclui dois objetivos complementares para ativar melhor o momento de insight de segurança na frase-chave: (1) um Cabeçalho de Segurança de Caminho Duplo para reforçar o sinal de segurança nas representações internas do modelo antes da frase-chave, e (2) um objetivo de Modelagem de Máscara de Consulta para melhorar a atenção do modelo na compreensão da consulta, que contém pistas importantes de segurança. Experimentos em vários benchmarks de segurança demonstram que nossos métodos melhoram significativamente a generalização de segurança para uma ampla gama de ataques de jailbreak e prompts maliciosos fora da distribuição, reduzindo a taxa média de nocividade em 9,6%, enquanto mantêm as habilidades gerais. Nossa análise revela como o SafeKey melhora a segurança ao remodelar a atenção interna e aprimorar a qualidade das representações ocultas.
English
Large Reasoning Models (LRMs) introduce a new generation paradigm of
explicitly reasoning before answering, leading to remarkable improvements in
complex tasks. However, they pose great safety risks against harmful queries
and adversarial attacks. While recent mainstream safety efforts on LRMs,
supervised fine-tuning (SFT), improve safety performance, we find that
SFT-aligned models struggle to generalize to unseen jailbreak prompts. After
thorough investigation of LRMs' generation, we identify a safety aha moment
that can activate safety reasoning and lead to a safe response. This aha moment
typically appears in the `key sentence', which follows models' query
understanding process and can indicate whether the model will proceed safely.
Based on these insights, we propose SafeKey, including two complementary
objectives to better activate the safety aha moment in the key sentence: (1) a
Dual-Path Safety Head to enhance the safety signal in the model's internal
representations before the key sentence, and (2) a Query-Mask Modeling
objective to improve the models' attention on its query understanding, which
has important safety hints. Experiments across multiple safety benchmarks
demonstrate that our methods significantly improve safety generalization to a
wide range of jailbreak attacks and out-of-distribution harmful prompts,
lowering the average harmfulness rate by 9.6\%, while maintaining general
abilities. Our analysis reveals how SafeKey enhances safety by reshaping
internal attention and improving the quality of hidden representations.