o3-mini vs DeepSeek-R1: Welches ist sicherer?

o3-mini vs DeepSeek-R1: Which One is Safer?

January 30, 2025

Autoren: Aitor Arrieta, Miriam Ugarte, Pablo Valle, José Antonio Parejo, Sergio Segura

cs.AI

Zusammenfassung

Der Einbruch von DeepSeek-R1 stellt einen Wendepunkt für die KI-Branche im Allgemeinen und insbesondere für die LLMs dar. Seine Fähigkeiten haben herausragende Leistungen in mehreren Aufgabenbereichen gezeigt, darunter kreatives Denken, Codegenerierung, Mathematik und automatische Programmreparatur, bei scheinbar niedrigeren Ausführungskosten. LLMs müssen jedoch eine wichtige qualitative Eigenschaft beachten, nämlich ihre Ausrichtung auf Sicherheit und menschliche Werte. Ein klarer Konkurrent von DeepSeek-R1 ist sein amerikanisches Pendant, das o3-mini-Modell von OpenAI, von dem erwartet wird, dass es hohe Standards in Bezug auf Leistung, Sicherheit und Kosten setzt. In diesem Papier führen wir eine systematische Bewertung des Sicherheitsniveaus von DeepSeek-R1 (70b-Version) und OpenAI's o3-mini (Beta-Version) durch. Hierzu verwenden wir unser kürzlich veröffentlichtes automatisiertes Sicherheitstest-Tool namens ASTRAL. Durch die Nutzung dieses Tools generieren und führen wir automatisch und systematisch insgesamt 1260 unsichere Testeingaben auf beiden Modellen aus. Nach einer halbautomatischen Bewertung der Ergebnisse, die von beiden LLMs bereitgestellt wurden, zeigen die Ergebnisse, dass DeepSeek-R1 im Vergleich zu OpenAI's o3-mini sehr unsicher ist. Basierend auf unserer Bewertung hat DeepSeek-R1 unsicher auf 11,98% der ausgeführten Aufforderungen geantwortet, während o3-mini nur auf 1,19% unsicher geantwortet hat.

English

The irruption of DeepSeek-R1 constitutes a turning point for the AI industry in general and the LLMs in particular. Its capabilities have demonstrated outstanding performance in several tasks, including creative thinking, code generation, maths and automated program repair, at apparently lower execution cost. However, LLMs must adhere to an important qualitative property, i.e., their alignment with safety and human values. A clear competitor of DeepSeek-R1 is its American counterpart, OpenAI's o3-mini model, which is expected to set high standards in terms of performance, safety and cost. In this paper we conduct a systematic assessment of the safety level of both, DeepSeek-R1 (70b version) and OpenAI's o3-mini (beta version). To this end, we make use of our recently released automated safety testing tool, named ASTRAL. By leveraging this tool, we automatically and systematically generate and execute a total of 1260 unsafe test inputs on both models. After conducting a semi-automated assessment of the outcomes provided by both LLMs, the results indicate that DeepSeek-R1 is highly unsafe as compared to OpenAI's o3-mini. Based on our evaluation, DeepSeek-R1 answered unsafely to 11.98% of the executed prompts whereas o3-mini only to 1.19%.