Die verborgenen Risiken großer Reasoning-Modelle: Eine Sicherheitsbewertung von R1

The Hidden Risks of Large Reasoning Models: A Safety Assessment of R1

February 18, 2025

Autoren: Kaiwen Zhou, Chengzhi Liu, Xuandong Zhao, Shreedhar Jangam, Jayanth Srinivasa, Gaowen Liu, Dawn Song, Xin Eric Wang

cs.AI

Zusammenfassung

Die rasante Entwicklung großer Reasoning-Modelle wie OpenAI-o3 und DeepSeek-R1 hat zu erheblichen Verbesserungen im komplexen Reasoning im Vergleich zu nicht-reasoning-fähigen großen Sprachmodellen (LLMs) geführt. Ihre erweiterten Fähigkeiten in Kombination mit dem Open-Source-Zugang zu Modellen wie DeepSeek-R1 werfen jedoch ernsthafte Sicherheitsbedenken auf, insbesondere in Bezug auf ihr Missbrauchspotenzial. In dieser Arbeit präsentieren wir eine umfassende Sicherheitsbewertung dieser Reasoning-Modelle, bei der etablierte Sicherheitsbenchmarks genutzt werden, um ihre Einhaltung von Sicherheitsvorschriften zu bewerten. Darüber hinaus untersuchen wir ihre Anfälligkeit für adversariale Angriffe wie Jailbreaking und Prompt-Injection, um ihre Robustheit in realen Anwendungen zu beurteilen. Durch unsere vielschichtige Analyse decken wir vier zentrale Erkenntnisse auf: (1) Es besteht eine erhebliche Sicherheitslücke zwischen den Open-Source-R1-Modellen und dem o3-mini-Modell, sowohl in Bezug auf Sicherheitsbenchmarks als auch auf Angriffe, was darauf hindeutet, dass mehr Sicherheitsanstrengungen für R1 erforderlich sind. (2) Das destillierte Reasoning-Modell zeigt eine schlechtere Sicherheitsleistung im Vergleich zu seinen sicherheitsausgerichteten Basismodellen. (3) Je stärker die Reasoning-Fähigkeit eines Modells ist, desto größer ist der potenzielle Schaden, den es bei der Beantwortung unsicherer Fragen verursachen kann. (4) Der Denkprozess in R1-Modellen birgt größere Sicherheitsbedenken als ihre endgültigen Antworten. Unsere Studie liefert Einblicke in die Sicherheitsimplikationen von Reasoning-Modellen und unterstreicht die Notwendigkeit weiterer Fortschritte in der Sicherheit von R1-Modellen, um die Lücke zu schließen.

English

The rapid development of large reasoning models, such as OpenAI-o3 and DeepSeek-R1, has led to significant improvements in complex reasoning over non-reasoning large language models~(LLMs). However, their enhanced capabilities, combined with the open-source access of models like DeepSeek-R1, raise serious safety concerns, particularly regarding their potential for misuse. In this work, we present a comprehensive safety assessment of these reasoning models, leveraging established safety benchmarks to evaluate their compliance with safety regulations. Furthermore, we investigate their susceptibility to adversarial attacks, such as jailbreaking and prompt injection, to assess their robustness in real-world applications. Through our multi-faceted analysis, we uncover four key findings: (1) There is a significant safety gap between the open-source R1 models and the o3-mini model, on both safety benchmark and attack, suggesting more safety effort on R1 is needed. (2) The distilled reasoning model shows poorer safety performance compared to its safety-aligned base models. (3) The stronger the model's reasoning ability, the greater the potential harm it may cause when answering unsafe questions. (4) The thinking process in R1 models pose greater safety concerns than their final answers. Our study provides insights into the security implications of reasoning models and highlights the need for further advancements in R1 models' safety to close the gap.