Os Riscos Ocultos dos Modelos de Raciocínio em Grande Escala: Uma Avaliação de Segurança do R1

The Hidden Risks of Large Reasoning Models: A Safety Assessment of R1

February 18, 2025

Autores: Kaiwen Zhou, Chengzhi Liu, Xuandong Zhao, Shreedhar Jangam, Jayanth Srinivasa, Gaowen Liu, Dawn Song, Xin Eric Wang

cs.AI

Resumo

O rápido desenvolvimento de grandes modelos de raciocínio, como o OpenAI-o3 e o DeepSeek-R1, tem levado a melhorias significativas no raciocínio complexo em comparação com grandes modelos de linguagem (LLMs) que não são voltados para raciocínio. No entanto, suas capacidades aprimoradas, combinadas com o acesso de código aberto de modelos como o DeepSeek-R1, levantam sérias preocupações de segurança, especialmente em relação ao seu potencial de uso indevido. Neste trabalho, apresentamos uma avaliação abrangente de segurança desses modelos de raciocínio, utilizando benchmarks de segurança estabelecidos para avaliar sua conformidade com regulamentações de segurança. Além disso, investigamos sua suscetibilidade a ataques adversariais, como jailbreaking e injeção de prompts, para avaliar sua robustez em aplicações do mundo real. Por meio de nossa análise multifacetada, descobrimos quatro principais conclusões: (1) Há uma lacuna significativa de segurança entre os modelos R1 de código aberto e o modelo o3-mini, tanto em benchmarks de segurança quanto em ataques, sugerindo que mais esforços de segurança são necessários no R1. (2) O modelo de raciocínio destilado apresenta desempenho de segurança inferior em comparação com seus modelos base alinhados com segurança. (3) Quanto mais forte a capacidade de raciocínio do modelo, maior o potencial de dano que ele pode causar ao responder a perguntas inseguras. (4) O processo de pensamento nos modelos R1 apresenta preocupações de segurança maiores do que suas respostas finais. Nosso estudo fornece insights sobre as implicações de segurança dos modelos de raciocínio e destaca a necessidade de avanços adicionais na segurança dos modelos R1 para reduzir essa lacuna.

English

The rapid development of large reasoning models, such as OpenAI-o3 and DeepSeek-R1, has led to significant improvements in complex reasoning over non-reasoning large language models~(LLMs). However, their enhanced capabilities, combined with the open-source access of models like DeepSeek-R1, raise serious safety concerns, particularly regarding their potential for misuse. In this work, we present a comprehensive safety assessment of these reasoning models, leveraging established safety benchmarks to evaluate their compliance with safety regulations. Furthermore, we investigate their susceptibility to adversarial attacks, such as jailbreaking and prompt injection, to assess their robustness in real-world applications. Through our multi-faceted analysis, we uncover four key findings: (1) There is a significant safety gap between the open-source R1 models and the o3-mini model, on both safety benchmark and attack, suggesting more safety effort on R1 is needed. (2) The distilled reasoning model shows poorer safety performance compared to its safety-aligned base models. (3) The stronger the model's reasoning ability, the greater the potential harm it may cause when answering unsafe questions. (4) The thinking process in R1 models pose greater safety concerns than their final answers. Our study provides insights into the security implications of reasoning models and highlights the need for further advancements in R1 models' safety to close the gap.