o3-mini vs DeepSeek-R1: ¿Cuál es más seguro?

o3-mini vs DeepSeek-R1: Which One is Safer?

January 30, 2025

Autores: Aitor Arrieta, Miriam Ugarte, Pablo Valle, José Antonio Parejo, Sergio Segura

cs.AI

Resumen

La irrupción de DeepSeek-R1 constituye un punto de inflexión para la industria de la IA en general y para los LLMs en particular. Sus capacidades han demostrado un rendimiento excepcional en varias tareas, incluyendo el pensamiento creativo, generación de código, matemáticas y reparación automática de programas, aparentemente a un menor costo de ejecución. Sin embargo, los LLMs deben cumplir con una importante propiedad cualitativa, es decir, su alineación con la seguridad y los valores humanos. Un claro competidor de DeepSeek-R1 es su contraparte estadounidense, el modelo o3-mini de OpenAI, se espera que establezca altos estándares en términos de rendimiento, seguridad y costo. En este documento realizamos una evaluación sistemática del nivel de seguridad de ambos, DeepSeek-R1 (versión 70b) y o3-mini de OpenAI (versión beta). Para ello, hacemos uso de nuestra herramienta de prueba de seguridad automatizada recientemente lanzada, llamada ASTRAL. Al aprovechar esta herramienta, generamos y ejecutamos automáticamente y sistemáticamente un total de 1260 entradas de prueba inseguras en ambos modelos. Después de realizar una evaluación semi-automatizada de los resultados proporcionados por ambos LLMs, los resultados indican que DeepSeek-R1 es altamente inseguro en comparación con o3-mini de OpenAI. Según nuestra evaluación, DeepSeek-R1 respondió de manera insegura al 11.98% de las solicitudes ejecutadas, mientras que o3-mini solo al 1.19%.

English

The irruption of DeepSeek-R1 constitutes a turning point for the AI industry in general and the LLMs in particular. Its capabilities have demonstrated outstanding performance in several tasks, including creative thinking, code generation, maths and automated program repair, at apparently lower execution cost. However, LLMs must adhere to an important qualitative property, i.e., their alignment with safety and human values. A clear competitor of DeepSeek-R1 is its American counterpart, OpenAI's o3-mini model, which is expected to set high standards in terms of performance, safety and cost. In this paper we conduct a systematic assessment of the safety level of both, DeepSeek-R1 (70b version) and OpenAI's o3-mini (beta version). To this end, we make use of our recently released automated safety testing tool, named ASTRAL. By leveraging this tool, we automatically and systematically generate and execute a total of 1260 unsafe test inputs on both models. After conducting a semi-automated assessment of the outcomes provided by both LLMs, the results indicate that DeepSeek-R1 is highly unsafe as compared to OpenAI's o3-mini. Based on our evaluation, DeepSeek-R1 answered unsafely to 11.98% of the executed prompts whereas o3-mini only to 1.19%.