o3-mini と DeepSeek-R1: どちらが安全か？

o3-mini vs DeepSeek-R1: Which One is Safer?

January 30, 2025

著者: Aitor Arrieta, Miriam Ugarte, Pablo Valle, José Antonio Parejo, Sergio Segura

cs.AI

要旨

DeepSeek-R1の出現は、AI産業全体および特にLLMにとって転換点となっています。その能力は、創造的思考、コード生成、数学、自動プログラム修復など、いくつかのタスクで優れたパフォーマンスを示し、実行コストが低いように見えます。ただし、LLMは重要な質的特性、つまり安全性と人間の価値との整合性を保持しなければなりません。DeepSeek-R1の明確な競合相手は、そのアメリカの対応物であるOpenAIのo3-miniモデルであり、パフォーマンス、安全性、コストの面で高い基準を設定すると予想されています。本論文では、DeepSeek-R1（70bバージョン）とOpenAIのo3-mini（ベータバージョン）の安全レベルを体系的に評価します。このために、ASTRALという最近リリースされた自動安全テストツールを使用します。このツールを活用して、両モデルに合計1260の安全でないテスト入力を自動的かつ体系的に生成および実行します。両LLMが提供する結果を半自動的に評価した結果、DeepSeek-R1はOpenAIのo3-miniに比べて非常に安全でないことが示されました。評価に基づくと、DeepSeek-R1は実行されたプロンプトのうち11.98%に安全でない回答をし、o3-miniはわずか1.19%にのみそうであることが示されました。

English

The irruption of DeepSeek-R1 constitutes a turning point for the AI industry in general and the LLMs in particular. Its capabilities have demonstrated outstanding performance in several tasks, including creative thinking, code generation, maths and automated program repair, at apparently lower execution cost. However, LLMs must adhere to an important qualitative property, i.e., their alignment with safety and human values. A clear competitor of DeepSeek-R1 is its American counterpart, OpenAI's o3-mini model, which is expected to set high standards in terms of performance, safety and cost. In this paper we conduct a systematic assessment of the safety level of both, DeepSeek-R1 (70b version) and OpenAI's o3-mini (beta version). To this end, we make use of our recently released automated safety testing tool, named ASTRAL. By leveraging this tool, we automatically and systematically generate and execute a total of 1260 unsafe test inputs on both models. After conducting a semi-automated assessment of the outcomes provided by both LLMs, the results indicate that DeepSeek-R1 is highly unsafe as compared to OpenAI's o3-mini. Based on our evaluation, DeepSeek-R1 answered unsafely to 11.98% of the executed prompts whereas o3-mini only to 1.19%.