Los Riesgos Ocultos de los Modelos de Razonamiento a Gran Escala: Una Evaluación de Seguridad de R1

The Hidden Risks of Large Reasoning Models: A Safety Assessment of R1

February 18, 2025

Autores: Kaiwen Zhou, Chengzhi Liu, Xuandong Zhao, Shreedhar Jangam, Jayanth Srinivasa, Gaowen Liu, Dawn Song, Xin Eric Wang

cs.AI

Resumen

El rápido desarrollo de modelos de razonamiento a gran escala, como OpenAI-o3 y DeepSeek-R1, ha llevado a mejoras significativas en el razonamiento complejo en comparación con los modelos de lenguaje grandes (LLMs) no orientados al razonamiento. Sin embargo, sus capacidades mejoradas, combinadas con el acceso de código abierto de modelos como DeepSeek-R1, plantean serias preocupaciones de seguridad, particularmente en cuanto a su potencial de uso indebido. En este trabajo, presentamos una evaluación integral de la seguridad de estos modelos de razonamiento, utilizando benchmarks de seguridad establecidos para evaluar su cumplimiento con las regulaciones de seguridad. Además, investigamos su susceptibilidad a ataques adversarios, como jailbreaking e inyección de prompts, para evaluar su robustez en aplicaciones del mundo real. A través de nuestro análisis multifacético, descubrimos cuatro hallazgos clave: (1) Existe una brecha de seguridad significativa entre los modelos R1 de código abierto y el modelo o3-mini, tanto en el benchmark de seguridad como en los ataques, lo que sugiere que se necesita más esfuerzo en seguridad para R1. (2) El modelo de razonamiento destilado muestra un rendimiento de seguridad más pobre en comparación con sus modelos base alineados con seguridad. (3) Cuanto más fuerte es la capacidad de razonamiento del modelo, mayor es el daño potencial que puede causar al responder preguntas inseguras. (4) El proceso de pensamiento en los modelos R1 plantea mayores preocupaciones de seguridad que sus respuestas finales. Nuestro estudio proporciona información sobre las implicaciones de seguridad de los modelos de razonamiento y destaca la necesidad de avances adicionales en la seguridad de los modelos R1 para cerrar la brecha.

English

The rapid development of large reasoning models, such as OpenAI-o3 and DeepSeek-R1, has led to significant improvements in complex reasoning over non-reasoning large language models~(LLMs). However, their enhanced capabilities, combined with the open-source access of models like DeepSeek-R1, raise serious safety concerns, particularly regarding their potential for misuse. In this work, we present a comprehensive safety assessment of these reasoning models, leveraging established safety benchmarks to evaluate their compliance with safety regulations. Furthermore, we investigate their susceptibility to adversarial attacks, such as jailbreaking and prompt injection, to assess their robustness in real-world applications. Through our multi-faceted analysis, we uncover four key findings: (1) There is a significant safety gap between the open-source R1 models and the o3-mini model, on both safety benchmark and attack, suggesting more safety effort on R1 is needed. (2) The distilled reasoning model shows poorer safety performance compared to its safety-aligned base models. (3) The stronger the model's reasoning ability, the greater the potential harm it may cause when answering unsafe questions. (4) The thinking process in R1 models pose greater safety concerns than their final answers. Our study provides insights into the security implications of reasoning models and highlights the need for further advancements in R1 models' safety to close the gap.