SweEval: Gli LLM Inveirano Davvero? Un Benchmark di Sicurezza per Testare i Limiti nell'Utilizzo Aziendale

SweEval: Do LLMs Really Swear? A Safety Benchmark for Testing Limits for Enterprise Use

May 22, 2025

Autori: Hitesh Laxmichand Patel, Amit Agarwal, Arion Das, Bhargava Kumar, Srikant Panda, Priyaranjan Pattnayak, Taki Hasan Rafi, Tejaswini Kumar, Dong-Kyu Chae

cs.AI

Abstract

I clienti aziendali stanno adottando sempre più i Large Language Models (LLM) per attività di comunicazione critiche, come la stesura di email, la creazione di presentazioni commerciali e la composizione di messaggi informali. Il dispiegamento di tali modelli in diverse regioni richiede che essi comprendano contesti culturali e linguistici vari e generino risposte sicure e rispettose. Per le applicazioni aziendali, è cruciale mitigare i rischi reputazionali, mantenere la fiducia e garantire la conformità, identificando e gestendo efficacemente il linguaggio non sicuro o offensivo. Per affrontare questo problema, introduciamo SweEval, un benchmark che simula scenari del mondo reale con variazioni di tono (positivo o negativo) e contesto (formale o informale). I prompt istruiscono esplicitamente il modello a includere specifiche parole volgari durante il completamento del compito. Questo benchmark valuta se i LLM rispettano o resistono a tali istruzioni inappropriate e valuta il loro allineamento con framework etici, sfumature culturali e capacità di comprensione del linguaggio. Al fine di promuovere la ricerca nella costruzione di sistemi di IA allineati eticamente per uso aziendale e non solo, rilasciamo il dataset e il codice: https://github.com/amitbcp/multilingual_profanity.

English

Enterprise customers are increasingly adopting Large Language Models (LLMs) for critical communication tasks, such as drafting emails, crafting sales pitches, and composing casual messages. Deploying such models across different regions requires them to understand diverse cultural and linguistic contexts and generate safe and respectful responses. For enterprise applications, it is crucial to mitigate reputational risks, maintain trust, and ensure compliance by effectively identifying and handling unsafe or offensive language. To address this, we introduce SweEval, a benchmark simulating real-world scenarios with variations in tone (positive or negative) and context (formal or informal). The prompts explicitly instruct the model to include specific swear words while completing the task. This benchmark evaluates whether LLMs comply with or resist such inappropriate instructions and assesses their alignment with ethical frameworks, cultural nuances, and language comprehension capabilities. In order to advance research in building ethically aligned AI systems for enterprise use and beyond, we release the dataset and code: https://github.com/amitbcp/multilingual_profanity.