o3-mini vs DeepSeek-R1 : Lequel est le plus sûr ?

o3-mini vs DeepSeek-R1: Which One is Safer?

January 30, 2025

Auteurs: Aitor Arrieta, Miriam Ugarte, Pablo Valle, José Antonio Parejo, Sergio Segura

cs.AI

Résumé

L'irruption de DeepSeek-R1 constitue un tournant pour l'industrie de l'IA en général et les LLM en particulier. Ses capacités ont démontré des performances exceptionnelles dans plusieurs tâches, notamment la pensée créative, la génération de code, les mathématiques et la réparation automatique de programmes, à un coût d'exécution apparemment inférieur. Cependant, les LLM doivent respecter une propriété qualitative importante, à savoir leur alignement avec la sécurité et les valeurs humaines. Un concurrent clair de DeepSeek-R1 est son homologue américain, le modèle o3-mini d'OpenAI, qui devrait établir des normes élevées en termes de performances, de sécurité et de coût. Dans cet article, nous menons une évaluation systématique du niveau de sécurité de DeepSeek-R1 (version 70b) et de l'o3-mini d'OpenAI (version bêta). À cette fin, nous utilisons notre outil de test de sécurité automatisé récemment publié, nommé ASTRAL. En exploitant cet outil, nous générons et exécutons automatiquement et systématiquement un total de 1260 entrées de test non sécurisées sur les deux modèles. Après avoir réalisé une évaluation semi-automatisée des résultats fournis par les deux LLM, les résultats indiquent que DeepSeek-R1 est très peu sûr par rapport à l'o3-mini d'OpenAI. Selon notre évaluation, DeepSeek-R1 a répondu de manière non sécurisée à 11,98 % des requêtes exécutées, tandis que l'o3-mini n'a répondu de manière non sécurisée qu'à 1,19 %.

English

The irruption of DeepSeek-R1 constitutes a turning point for the AI industry in general and the LLMs in particular. Its capabilities have demonstrated outstanding performance in several tasks, including creative thinking, code generation, maths and automated program repair, at apparently lower execution cost. However, LLMs must adhere to an important qualitative property, i.e., their alignment with safety and human values. A clear competitor of DeepSeek-R1 is its American counterpart, OpenAI's o3-mini model, which is expected to set high standards in terms of performance, safety and cost. In this paper we conduct a systematic assessment of the safety level of both, DeepSeek-R1 (70b version) and OpenAI's o3-mini (beta version). To this end, we make use of our recently released automated safety testing tool, named ASTRAL. By leveraging this tool, we automatically and systematically generate and execute a total of 1260 unsafe test inputs on both models. After conducting a semi-automated assessment of the outcomes provided by both LLMs, the results indicate that DeepSeek-R1 is highly unsafe as compared to OpenAI's o3-mini. Based on our evaluation, DeepSeek-R1 answered unsafely to 11.98% of the executed prompts whereas o3-mini only to 1.19%.