SweEval: Действительно ли языковые модели ругаются? Бенчмарк безопасности для тестирования границ применимости в корпоративной среде

SweEval: Do LLMs Really Swear? A Safety Benchmark for Testing Limits for Enterprise Use

May 22, 2025

Авторы: Hitesh Laxmichand Patel, Amit Agarwal, Arion Das, Bhargava Kumar, Srikant Panda, Priyaranjan Pattnayak, Taki Hasan Rafi, Tejaswini Kumar, Dong-Kyu Chae

cs.AI

Аннотация

Корпоративные клиенты всё чаще внедряют крупные языковые модели (LLM) для выполнения важных коммуникационных задач, таких как составление электронных писем, подготовка коммерческих предложений и написание неформальных сообщений. Развёртывание таких моделей в различных регионах требует, чтобы они понимали разнообразные культурные и языковые контексты и генерировали безопасные и уважительные ответы. Для корпоративных приложений крайне важно минимизировать репутационные риски, поддерживать доверие и обеспечивать соответствие требованиям, эффективно выявляя и обрабатывая небезопасный или оскорбительный язык. Для решения этой задачи мы представляем SweEval — бенчмарк, моделирующий реальные сценарии с вариациями тональности (положительной или отрицательной) и контекста (формального или неформального). В запросах явно указывается модели включить определённые нецензурные выражения при выполнении задачи. Этот бенчмарк оценивает, соблюдают ли LLM такие неподходящие инструкции или сопротивляются им, а также проверяет их соответствие этическим принципам, культурным нюансам и способностям понимания языка. Для продвижения исследований в области создания этически выверенных ИИ-систем для корпоративного использования и не только мы публикуем набор данных и код: https://github.com/amitbcp/multilingual_profanity.

English

Enterprise customers are increasingly adopting Large Language Models (LLMs) for critical communication tasks, such as drafting emails, crafting sales pitches, and composing casual messages. Deploying such models across different regions requires them to understand diverse cultural and linguistic contexts and generate safe and respectful responses. For enterprise applications, it is crucial to mitigate reputational risks, maintain trust, and ensure compliance by effectively identifying and handling unsafe or offensive language. To address this, we introduce SweEval, a benchmark simulating real-world scenarios with variations in tone (positive or negative) and context (formal or informal). The prompts explicitly instruct the model to include specific swear words while completing the task. This benchmark evaluates whether LLMs comply with or resist such inappropriate instructions and assesses their alignment with ethical frameworks, cultural nuances, and language comprehension capabilities. In order to advance research in building ethically aligned AI systems for enterprise use and beyond, we release the dataset and code: https://github.com/amitbcp/multilingual_profanity.