SweEval: Fluchen LLMs wirklich? Ein Sicherheits-Benchmark zur Testung der Grenzen für den Unternehmenseinsatz

SweEval: Do LLMs Really Swear? A Safety Benchmark for Testing Limits for Enterprise Use

May 22, 2025

Autoren: Hitesh Laxmichand Patel, Amit Agarwal, Arion Das, Bhargava Kumar, Srikant Panda, Priyaranjan Pattnayak, Taki Hasan Rafi, Tejaswini Kumar, Dong-Kyu Chae

cs.AI

Zusammenfassung

Unternehmenskunden setzen zunehmend Large Language Models (LLMs) für kritische Kommunikationsaufgaben ein, wie das Verfassen von E-Mails, das Erstellen von Verkaufsargumenten und das Formulieren von informellen Nachrichten. Die Bereitstellung solcher Modelle in verschiedenen Regionen erfordert, dass sie unterschiedliche kulturelle und sprachliche Kontexte verstehen und sichere sowie respektvolle Antworten generieren. Für Unternehmensanwendungen ist es entscheidend, Reputationsrisiken zu minimieren, Vertrauen zu bewahren und Compliance sicherzustellen, indem unsichere oder beleidigende Sprache effektiv identifiziert und behandelt wird. Um dies zu adressieren, stellen wir SweEval vor, einen Benchmark, der reale Szenarien mit Variationen im Ton (positiv oder negativ) und Kontext (formell oder informell) simuliert. Die Prompts weisen das Modell explizit an, bestimmte Schimpfwörter zu verwenden, während es die Aufgabe erledigt. Dieser Benchmark bewertet, ob LLMs solchen unangemessenen Anweisungen folgen oder widerstehen, und prüft ihre Ausrichtung an ethischen Rahmenbedingungen, kulturellen Nuancen und Sprachverständnisfähigkeiten. Um die Forschung im Bereich der Entwicklung ethisch ausgerichteter KI-Systeme für den Unternehmenseinsatz und darüber hinaus voranzutreiben, veröffentlichen wir den Datensatz und den Code: https://github.com/amitbcp/multilingual_profanity.

English

Enterprise customers are increasingly adopting Large Language Models (LLMs) for critical communication tasks, such as drafting emails, crafting sales pitches, and composing casual messages. Deploying such models across different regions requires them to understand diverse cultural and linguistic contexts and generate safe and respectful responses. For enterprise applications, it is crucial to mitigate reputational risks, maintain trust, and ensure compliance by effectively identifying and handling unsafe or offensive language. To address this, we introduce SweEval, a benchmark simulating real-world scenarios with variations in tone (positive or negative) and context (formal or informal). The prompts explicitly instruct the model to include specific swear words while completing the task. This benchmark evaluates whether LLMs comply with or resist such inappropriate instructions and assesses their alignment with ethical frameworks, cultural nuances, and language comprehension capabilities. In order to advance research in building ethically aligned AI systems for enterprise use and beyond, we release the dataset and code: https://github.com/amitbcp/multilingual_profanity.