Скрытые риски крупных моделей рассуждений: оценка безопасности R1

The Hidden Risks of Large Reasoning Models: A Safety Assessment of R1

February 18, 2025

Авторы: Kaiwen Zhou, Chengzhi Liu, Xuandong Zhao, Shreedhar Jangam, Jayanth Srinivasa, Gaowen Liu, Dawn Song, Xin Eric Wang

cs.AI

Аннотация

Быстрое развитие крупных моделей рассуждений, таких как OpenAI-o3 и DeepSeek-R1, привело к значительному улучшению сложных рассуждений по сравнению с нерассуждающими большими языковыми моделями (LLM). Однако их расширенные возможности, в сочетании с открытым доступом к моделям, таким как DeepSeek-R1, вызывают серьезные опасения в отношении безопасности, особенно в плане их потенциального неправильного использования. В данной работе мы представляем всестороннюю оценку безопасности этих моделей рассуждений, используя устоявшиеся тесты безопасности для оценки их соответствия нормативным требованиям. Кроме того, мы исследуем их уязвимость к атакам, таким как взлом (jailbreaking) и инъекция подсказок (prompt injection), чтобы оценить их устойчивость в реальных приложениях. В ходе нашего многогранного анализа мы выявили четыре ключевых вывода: (1) Существует значительный разрыв в безопасности между открытыми моделями R1 и моделью o3-mini, как в тестах безопасности, так и в атаках, что указывает на необходимость дополнительных усилий по обеспечению безопасности для R1. (2) Дистиллированная модель рассуждений демонстрирует более низкую безопасность по сравнению с её базовыми моделями, выровненными по безопасности. (3) Чем сильнее способность модели к рассуждениям, тем больший вред она может причинить при ответе на небезопасные вопросы. (4) Процесс мышления в моделях R1 вызывает больше опасений в плане безопасности, чем их конечные ответы. Наше исследование предоставляет важные инсайты в области безопасности моделей рассуждений и подчеркивает необходимость дальнейшего улучшения безопасности моделей R1 для устранения существующего разрыва.

English

The rapid development of large reasoning models, such as OpenAI-o3 and DeepSeek-R1, has led to significant improvements in complex reasoning over non-reasoning large language models~(LLMs). However, their enhanced capabilities, combined with the open-source access of models like DeepSeek-R1, raise serious safety concerns, particularly regarding their potential for misuse. In this work, we present a comprehensive safety assessment of these reasoning models, leveraging established safety benchmarks to evaluate their compliance with safety regulations. Furthermore, we investigate their susceptibility to adversarial attacks, such as jailbreaking and prompt injection, to assess their robustness in real-world applications. Through our multi-faceted analysis, we uncover four key findings: (1) There is a significant safety gap between the open-source R1 models and the o3-mini model, on both safety benchmark and attack, suggesting more safety effort on R1 is needed. (2) The distilled reasoning model shows poorer safety performance compared to its safety-aligned base models. (3) The stronger the model's reasoning ability, the greater the potential harm it may cause when answering unsafe questions. (4) The thinking process in R1 models pose greater safety concerns than their final answers. Our study provides insights into the security implications of reasoning models and highlights the need for further advancements in R1 models' safety to close the gap.