o3-mini vs DeepSeek-R1: Quale è più sicuro?

o3-mini vs DeepSeek-R1: Which One is Safer?

January 30, 2025

Autori: Aitor Arrieta, Miriam Ugarte, Pablo Valle, José Antonio Parejo, Sergio Segura

cs.AI

Abstract

L'irruzione di DeepSeek-R1 costituisce un punto di svolta per l'industria dell'IA in generale e in particolare per i LLM. Le sue capacità hanno dimostrato prestazioni eccezionali in diverse attività, tra cui pensiero creativo, generazione di codice, matematica e riparazione automatica di programmi, a un costo di esecuzione apparentemente inferiore. Tuttavia, i LLM devono attenersi a una importante proprietà qualitativa, ovvero il loro allineamento con la sicurezza e i valori umani. Un chiaro concorrente di DeepSeek-R1 è il suo omologo americano, il modello o3-mini di OpenAI, ci si aspetta che stabilisca elevati standard in termini di prestazioni, sicurezza e costo. In questo articolo conduciamo una valutazione sistematica del livello di sicurezza di entrambi, DeepSeek-R1 (versione 70b) e o3-mini di OpenAI (versione beta). A tal fine, facciamo uso del nostro strumento di test di sicurezza automatizzato, denominato ASTRAL, recentemente rilasciato. Sfruttando questo strumento, generiamo ed eseguiamo automaticamente e sistematicamente un totale di 1260 input di test non sicuri su entrambi i modelli. Dopo aver condotto una valutazione semi-automatica dei risultati forniti dai due LLM, i risultati indicano che DeepSeek-R1 è altamente non sicuro rispetto a o3-mini di OpenAI. Sulla base della nostra valutazione, DeepSeek-R1 ha risposto in modo non sicuro al 11,98% dei prompt eseguiti, mentre o3-mini solo al 1,19%.

English

The irruption of DeepSeek-R1 constitutes a turning point for the AI industry in general and the LLMs in particular. Its capabilities have demonstrated outstanding performance in several tasks, including creative thinking, code generation, maths and automated program repair, at apparently lower execution cost. However, LLMs must adhere to an important qualitative property, i.e., their alignment with safety and human values. A clear competitor of DeepSeek-R1 is its American counterpart, OpenAI's o3-mini model, which is expected to set high standards in terms of performance, safety and cost. In this paper we conduct a systematic assessment of the safety level of both, DeepSeek-R1 (70b version) and OpenAI's o3-mini (beta version). To this end, we make use of our recently released automated safety testing tool, named ASTRAL. By leveraging this tool, we automatically and systematically generate and execute a total of 1260 unsafe test inputs on both models. After conducting a semi-automated assessment of the outcomes provided by both LLMs, the results indicate that DeepSeek-R1 is highly unsafe as compared to OpenAI's o3-mini. Based on our evaluation, DeepSeek-R1 answered unsafely to 11.98% of the executed prompts whereas o3-mini only to 1.19%.