SafeKey: Amplificando las percepciones del momento "¡Ajá!" para el razonamiento de seguridad

SafeKey: Amplifying Aha-Moment Insights for Safety Reasoning

May 22, 2025

Autores: Kaiwen Zhou, Xuandong Zhao, Gaowen Liu, Jayanth Srinivasa, Aosong Feng, Dawn Song, Xin Eric Wang

cs.AI

Resumen

Los Modelos de Razonamiento a Gran Escala (LRMs, por sus siglas en inglés) introducen un nuevo paradigma de generación que consiste en razonar explícitamente antes de responder, lo que conduce a mejoras notables en tareas complejas. Sin embargo, plantean grandes riesgos de seguridad frente a consultas dañinas y ataques adversarios. Si bien los esfuerzos recientes en seguridad para LRMs, como el ajuste fino supervisado (SFT), mejoran el rendimiento en seguridad, encontramos que los modelos alineados con SFT tienen dificultades para generalizar a indicaciones de jailbreak no vistas. Tras una investigación exhaustiva de la generación de LRMs, identificamos un "momento aha" de seguridad que puede activar el razonamiento de seguridad y conducir a una respuesta segura. Este momento aha suele aparecer en la "frase clave", que sigue al proceso de comprensión de la consulta por parte del modelo y puede indicar si el modelo procederá de manera segura. Basándonos en estas ideas, proponemos SafeKey, que incluye dos objetivos complementarios para activar mejor el momento aha de seguridad en la frase clave: (1) una Cabecera de Seguridad de Doble Vía para mejorar la señal de seguridad en las representaciones internas del modelo antes de la frase clave, y (2) un objetivo de Modelado de Enmascaramiento de Consultas para mejorar la atención del modelo en su comprensión de la consulta, que contiene pistas importantes de seguridad. Los experimentos en múltiples benchmarks de seguridad demuestran que nuestros métodos mejoran significativamente la generalización de seguridad frente a una amplia gama de ataques de jailbreak y consultas dañinas fuera de distribución, reduciendo la tasa promedio de daño en un 9.6\%, mientras se mantienen las habilidades generales. Nuestro análisis revela cómo SafeKey mejora la seguridad remodelando la atención interna y mejorando la calidad de las representaciones ocultas.

English

Large Reasoning Models (LRMs) introduce a new generation paradigm of explicitly reasoning before answering, leading to remarkable improvements in complex tasks. However, they pose great safety risks against harmful queries and adversarial attacks. While recent mainstream safety efforts on LRMs, supervised fine-tuning (SFT), improve safety performance, we find that SFT-aligned models struggle to generalize to unseen jailbreak prompts. After thorough investigation of LRMs' generation, we identify a safety aha moment that can activate safety reasoning and lead to a safe response. This aha moment typically appears in the `key sentence', which follows models' query understanding process and can indicate whether the model will proceed safely. Based on these insights, we propose SafeKey, including two complementary objectives to better activate the safety aha moment in the key sentence: (1) a Dual-Path Safety Head to enhance the safety signal in the model's internal representations before the key sentence, and (2) a Query-Mask Modeling objective to improve the models' attention on its query understanding, which has important safety hints. Experiments across multiple safety benchmarks demonstrate that our methods significantly improve safety generalization to a wide range of jailbreak attacks and out-of-distribution harmful prompts, lowering the average harmfulness rate by 9.6\%, while maintaining general abilities. Our analysis reveals how SafeKey enhances safety by reshaping internal attention and improving the quality of hidden representations.