SafeKey: Усиление инсайтов "ага-моментов" для обеспечения безопасности в рассуждениях

SafeKey: Amplifying Aha-Moment Insights for Safety Reasoning

May 22, 2025

Авторы: Kaiwen Zhou, Xuandong Zhao, Gaowen Liu, Jayanth Srinivasa, Aosong Feng, Dawn Song, Xin Eric Wang

cs.AI

Аннотация

Крупные модели рассуждений (Large Reasoning Models, LRMs) представляют собой новую парадигму генерации, основанную на явном рассуждении перед ответом, что приводит к значительным улучшениям в выполнении сложных задач. Однако они создают серьезные риски безопасности при обработке вредоносных запросов и атак со стороны злоумышленников. Хотя современные основные усилия по обеспечению безопасности LRMs, такие как контролируемая тонкая настройка (supervised fine-tuning, SFT), улучшают показатели безопасности, мы обнаруживаем, что модели, выровненные с помощью SFT, плохо обобщаются на невидимые jailbreak-промпты. После тщательного исследования процесса генерации LRMs мы выявили "момент озарения безопасности" (safety aha moment), который может активировать рассуждения о безопасности и привести к безопасному ответу. Этот момент озарения обычно проявляется в "ключевом предложении", которое следует за процессом понимания запроса моделью и может указывать на то, будет ли модель действовать безопасно. На основе этих наблюдений мы предлагаем метод SafeKey, включающий две взаимодополняющие цели для более эффективной активации момента озарения безопасности в ключевом предложении: (1) Dual-Path Safety Head для усиления сигнала безопасности во внутренних представлениях модели перед ключевым предложением и (2) цель Query-Mask Modeling для улучшения внимания модели к пониманию запроса, которое содержит важные подсказки для безопасности. Эксперименты на множестве бенчмарков безопасности демонстрируют, что наши методы значительно улучшают обобщение безопасности на широкий спектр jailbreak-атак и вредоносных промптов, выходящих за пределы распределения, снижая средний уровень вредоносности на 9,6%, при сохранении общих способностей модели. Наш анализ показывает, как SafeKey повышает безопасность, изменяя внутреннее внимание и улучшая качество скрытых представлений.

English

Large Reasoning Models (LRMs) introduce a new generation paradigm of explicitly reasoning before answering, leading to remarkable improvements in complex tasks. However, they pose great safety risks against harmful queries and adversarial attacks. While recent mainstream safety efforts on LRMs, supervised fine-tuning (SFT), improve safety performance, we find that SFT-aligned models struggle to generalize to unseen jailbreak prompts. After thorough investigation of LRMs' generation, we identify a safety aha moment that can activate safety reasoning and lead to a safe response. This aha moment typically appears in the `key sentence', which follows models' query understanding process and can indicate whether the model will proceed safely. Based on these insights, we propose SafeKey, including two complementary objectives to better activate the safety aha moment in the key sentence: (1) a Dual-Path Safety Head to enhance the safety signal in the model's internal representations before the key sentence, and (2) a Query-Mask Modeling objective to improve the models' attention on its query understanding, which has important safety hints. Experiments across multiple safety benchmarks demonstrate that our methods significantly improve safety generalization to a wide range of jailbreak attacks and out-of-distribution harmful prompts, lowering the average harmfulness rate by 9.6\%, while maintaining general abilities. Our analysis reveals how SafeKey enhances safety by reshaping internal attention and improving the quality of hidden representations.