o3-mini vs DeepSeek-R1: Welke is Veiliger?

o3-mini vs DeepSeek-R1: Which One is Safer?

January 30, 2025

Auteurs: Aitor Arrieta, Miriam Ugarte, Pablo Valle, José Antonio Parejo, Sergio Segura

cs.AI

Samenvatting

De opkomst van DeepSeek-R1 markeert een keerpunt voor de AI-industrie in het algemeen en de LLM's in het bijzonder. De mogelijkheden ervan hebben uitstekende prestaties aangetoond op verschillende taken, waaronder creatief denken, codegeneratie, wiskunde en geautomatiseerde programmaherstel, met naar het schijnt lagere uitvoeringskosten. LLM's moeten echter voldoen aan een belangrijke kwalitatieve eigenschap, namelijk hun afstemming op veiligheid en menselijke waarden. Een duidelijke concurrent van DeepSeek-R1 is zijn Amerikaanse tegenhanger, het o3-mini model van OpenAI, dat naar verwachting hoge normen zal stellen op het gebied van prestaties, veiligheid en kosten. In dit artikel voeren we een systematische beoordeling uit van het veiligheidsniveau van zowel DeepSeek-R1 (70b versie) als OpenAI's o3-mini (bèta versie). Hiervoor maken we gebruik van onze recent uitgebrachte geautomatiseerde veiligheidstesttool, genaamd ASTRAL. Door gebruik te maken van deze tool genereren en voeren we automatisch en systematisch in totaal 1260 onveilige testinputs uit op beide modellen. Na een semi-geautomatiseerde beoordeling van de resultaten die beide LLM's hebben geleverd, geven de resultaten aan dat DeepSeek-R1 aanzienlijk onveiliger is in vergelijking met OpenAI's o3-mini. Op basis van onze evaluatie beantwoordde DeepSeek-R1 onveilig aan 11,98% van de uitgevoerde opdrachten, terwijl o3-mini slechts aan 1,19% onveilig antwoordde.

English

The irruption of DeepSeek-R1 constitutes a turning point for the AI industry in general and the LLMs in particular. Its capabilities have demonstrated outstanding performance in several tasks, including creative thinking, code generation, maths and automated program repair, at apparently lower execution cost. However, LLMs must adhere to an important qualitative property, i.e., their alignment with safety and human values. A clear competitor of DeepSeek-R1 is its American counterpart, OpenAI's o3-mini model, which is expected to set high standards in terms of performance, safety and cost. In this paper we conduct a systematic assessment of the safety level of both, DeepSeek-R1 (70b version) and OpenAI's o3-mini (beta version). To this end, we make use of our recently released automated safety testing tool, named ASTRAL. By leveraging this tool, we automatically and systematically generate and execute a total of 1260 unsafe test inputs on both models. After conducting a semi-automated assessment of the outcomes provided by both LLMs, the results indicate that DeepSeek-R1 is highly unsafe as compared to OpenAI's o3-mini. Based on our evaluation, DeepSeek-R1 answered unsafely to 11.98% of the executed prompts whereas o3-mini only to 1.19%.