SweEval: Vloeken LLM's echt? Een veiligheidsbenchmark voor het testen van grenzen in zakelijk gebruik

SweEval: Do LLMs Really Swear? A Safety Benchmark for Testing Limits for Enterprise Use

May 22, 2025

Auteurs: Hitesh Laxmichand Patel, Amit Agarwal, Arion Das, Bhargava Kumar, Srikant Panda, Priyaranjan Pattnayak, Taki Hasan Rafi, Tejaswini Kumar, Dong-Kyu Chae

cs.AI

Samenvatting

Bedrijfsklanten nemen in toenemende mate Large Language Models (LLMs) in gebruik voor kritieke communicatietaken, zoals het opstellen van e-mails, het formuleren van verkoopargumenten en het schrijven van informele berichten. Het inzetten van dergelijke modellen in verschillende regio's vereist dat ze diverse culturele en taalkundige contexten begrijpen en veilige en respectvolle reacties genereren. Voor zakelijke toepassingen is het van cruciaal belang om reputatierisico's te beperken, vertrouwen te behouden en naleving te waarborgen door effectief onveilig of aanstootgevend taalgebruik te identificeren en af te handelen. Om dit aan te pakken, introduceren we SweEval, een benchmark die realistische scenario's simuleert met variaties in toon (positief of negatief) en context (formeel of informeel). De prompts geven expliciet de opdracht aan het model om specifieke scheldwoorden op te nemen bij het voltooien van de taak. Deze benchmark evalueert of LLMs dergelijke ongepaste instructies opvolgen of weerstaan en beoordeelt hun afstemming op ethische kaders, culturele nuances en taalbegrip. Om onderzoek naar het bouwen van ethisch afgestemde AI-systemen voor zakelijk gebruik en daarbuiten te bevorderen, maken we de dataset en code beschikbaar: https://github.com/amitbcp/multilingual_profanity.

English

Enterprise customers are increasingly adopting Large Language Models (LLMs) for critical communication tasks, such as drafting emails, crafting sales pitches, and composing casual messages. Deploying such models across different regions requires them to understand diverse cultural and linguistic contexts and generate safe and respectful responses. For enterprise applications, it is crucial to mitigate reputational risks, maintain trust, and ensure compliance by effectively identifying and handling unsafe or offensive language. To address this, we introduce SweEval, a benchmark simulating real-world scenarios with variations in tone (positive or negative) and context (formal or informal). The prompts explicitly instruct the model to include specific swear words while completing the task. This benchmark evaluates whether LLMs comply with or resist such inappropriate instructions and assesses their alignment with ethical frameworks, cultural nuances, and language comprehension capabilities. In order to advance research in building ethically aligned AI systems for enterprise use and beyond, we release the dataset and code: https://github.com/amitbcp/multilingual_profanity.