SweEval : Les LLM jurent-ils vraiment ? Un benchmark de sécurité pour tester les limites de leur utilisation en entreprise

SweEval: Do LLMs Really Swear? A Safety Benchmark for Testing Limits for Enterprise Use

May 22, 2025

Auteurs: Hitesh Laxmichand Patel, Amit Agarwal, Arion Das, Bhargava Kumar, Srikant Panda, Priyaranjan Pattnayak, Taki Hasan Rafi, Tejaswini Kumar, Dong-Kyu Chae

cs.AI

Résumé

Les entreprises adoptent de plus en plus les modèles de langage de grande taille (LLM) pour des tâches de communication critiques, telles que la rédaction d'e-mails, la conception d'arguments de vente et la composition de messages informels. Le déploiement de ces modèles dans différentes régions nécessite qu'ils comprennent des contextes culturels et linguistiques variés et génèrent des réponses sûres et respectueuses. Pour les applications d'entreprise, il est crucial de réduire les risques réputationnels, de maintenir la confiance et d'assurer la conformité en identifiant et en gérant efficacement les langages inappropriés ou offensants. Pour répondre à ce besoin, nous présentons SweEval, un benchmark simulant des scénarios réels avec des variations de ton (positif ou négatif) et de contexte (formel ou informel). Les instructions demandent explicitement au modèle d'inclure des mots grossiers spécifiques tout en accomplissant la tâche. Ce benchmark évalue si les LLM se conforment ou résistent à de telles instructions inappropriées et examine leur alignement avec les cadres éthiques, les nuances culturelles et leurs capacités de compréhension linguistique. Afin de faire progresser la recherche sur la construction de systèmes d'IA éthiquement alignés pour les entreprises et au-delà, nous publions le jeu de données et le code : https://github.com/amitbcp/multilingual_profanity.

English

Enterprise customers are increasingly adopting Large Language Models (LLMs) for critical communication tasks, such as drafting emails, crafting sales pitches, and composing casual messages. Deploying such models across different regions requires them to understand diverse cultural and linguistic contexts and generate safe and respectful responses. For enterprise applications, it is crucial to mitigate reputational risks, maintain trust, and ensure compliance by effectively identifying and handling unsafe or offensive language. To address this, we introduce SweEval, a benchmark simulating real-world scenarios with variations in tone (positive or negative) and context (formal or informal). The prompts explicitly instruct the model to include specific swear words while completing the task. This benchmark evaluates whether LLMs comply with or resist such inappropriate instructions and assesses their alignment with ethical frameworks, cultural nuances, and language comprehension capabilities. In order to advance research in building ethically aligned AI systems for enterprise use and beyond, we release the dataset and code: https://github.com/amitbcp/multilingual_profanity.