o3-mini против DeepSeek-R1: Какой из них безопаснее?

o3-mini vs DeepSeek-R1: Which One is Safer?

January 30, 2025

Авторы: Aitor Arrieta, Miriam Ugarte, Pablo Valle, José Antonio Parejo, Sergio Segura

cs.AI

Аннотация

Прорыв DeepSeek-R1 является поворотным моментом для отрасли искусственного интеллекта в целом, а также для LLM в частности. Его возможности продемонстрировали выдающуюся производительность в нескольких задачах, включая креативное мышление, генерацию кода, математику и автоматическое исправление программ, при, казалось бы, более низкой стоимости выполнения. Однако LLM должны придерживаться важного качественного свойства, а именно соответствия безопасности и человеческим ценностям. Явным конкурентом DeepSeek-R1 является его американский аналог - модель o3-mini от OpenAI, от которой ожидаются высокие стандарты производительности, безопасности и стоимости. В данной статье мы проводим систематическую оценку уровня безопасности как DeepSeek-R1 (версия 70b), так и o3-mini от OpenAI (бета-версия). Для этого мы используем наш недавно выпущенный автоматизированный инструмент для тестирования безопасности, названный ASTRAL. Используя этот инструмент, мы автоматически и систематически генерируем и выполняем общее количество 1260 небезопасных тестовых входов на обеих моделях. После проведения полуавтоматической оценки результатов, предоставленных обеими LLM, результаты показывают, что DeepSeek-R1 является крайне небезопасным по сравнению с o3-mini от OpenAI. На основе нашей оценки DeepSeek-R1 дал небезопасные ответы на 11,98% выполненных запросов, в то время как o3-mini только на 1,19%.

English

The irruption of DeepSeek-R1 constitutes a turning point for the AI industry in general and the LLMs in particular. Its capabilities have demonstrated outstanding performance in several tasks, including creative thinking, code generation, maths and automated program repair, at apparently lower execution cost. However, LLMs must adhere to an important qualitative property, i.e., their alignment with safety and human values. A clear competitor of DeepSeek-R1 is its American counterpart, OpenAI's o3-mini model, which is expected to set high standards in terms of performance, safety and cost. In this paper we conduct a systematic assessment of the safety level of both, DeepSeek-R1 (70b version) and OpenAI's o3-mini (beta version). To this end, we make use of our recently released automated safety testing tool, named ASTRAL. By leveraging this tool, we automatically and systematically generate and execute a total of 1260 unsafe test inputs on both models. After conducting a semi-automated assessment of the outcomes provided by both LLMs, the results indicate that DeepSeek-R1 is highly unsafe as compared to OpenAI's o3-mini. Based on our evaluation, DeepSeek-R1 answered unsafely to 11.98% of the executed prompts whereas o3-mini only to 1.19%.