o3-mini vs DeepSeek-R1: Qual é o Mais Seguro?

o3-mini vs DeepSeek-R1: Which One is Safer?

January 30, 2025

Autores: Aitor Arrieta, Miriam Ugarte, Pablo Valle, José Antonio Parejo, Sergio Segura

cs.AI

Resumo

A irrupção do DeepSeek-R1 constitui um ponto de viragem para a indústria de IA em geral e para os LLMs em particular. Suas capacidades demonstraram um desempenho excepcional em várias tarefas, incluindo pensamento criativo, geração de código, matemática e reparo automático de programas, aparentemente a um custo de execução mais baixo. No entanto, os LLMs devem aderir a uma propriedade qualitativa importante, ou seja, sua alinhamento com a segurança e valores humanos. Um concorrente claro do DeepSeek-R1 é seu homólogo americano, o modelo o3-mini da OpenAI, que se espera estabelecer altos padrões em termos de desempenho, segurança e custo. Neste artigo, realizamos uma avaliação sistemática do nível de segurança de ambos, o DeepSeek-R1 (versão 70b) e o o3-mini da OpenAI (versão beta). Para isso, utilizamos nossa ferramenta de teste de segurança automatizada, chamada ASTRAL, recentemente lançada. Ao alavancar essa ferramenta, geramos e executamos automaticamente e sistematicamente um total de 1260 entradas de teste inseguras em ambos os modelos. Após realizar uma avaliação semi-automatizada dos resultados fornecidos pelos dois LLMs, os resultados indicam que o DeepSeek-R1 é altamente inseguro em comparação com o o3-mini da OpenAI. Com base em nossa avaliação, o DeepSeek-R1 respondeu de forma insegura a 11,98% dos prompts executados, enquanto o o3-mini apenas a 1,19%.

English

The irruption of DeepSeek-R1 constitutes a turning point for the AI industry in general and the LLMs in particular. Its capabilities have demonstrated outstanding performance in several tasks, including creative thinking, code generation, maths and automated program repair, at apparently lower execution cost. However, LLMs must adhere to an important qualitative property, i.e., their alignment with safety and human values. A clear competitor of DeepSeek-R1 is its American counterpart, OpenAI's o3-mini model, which is expected to set high standards in terms of performance, safety and cost. In this paper we conduct a systematic assessment of the safety level of both, DeepSeek-R1 (70b version) and OpenAI's o3-mini (beta version). To this end, we make use of our recently released automated safety testing tool, named ASTRAL. By leveraging this tool, we automatically and systematically generate and execute a total of 1260 unsafe test inputs on both models. After conducting a semi-automated assessment of the outcomes provided by both LLMs, the results indicate that DeepSeek-R1 is highly unsafe as compared to OpenAI's o3-mini. Based on our evaluation, DeepSeek-R1 answered unsafely to 11.98% of the executed prompts whereas o3-mini only to 1.19%.