SweEval: Os LLMs Realmente Xingam? Um Benchmark de Segurança para Testar Limites de Uso Empresarial

SweEval: Do LLMs Really Swear? A Safety Benchmark for Testing Limits for Enterprise Use

May 22, 2025

Autores: Hitesh Laxmichand Patel, Amit Agarwal, Arion Das, Bhargava Kumar, Srikant Panda, Priyaranjan Pattnayak, Taki Hasan Rafi, Tejaswini Kumar, Dong-Kyu Chae

cs.AI

Resumo

Os clientes empresariais estão adotando cada vez mais Modelos de Linguagem de Grande Escala (LLMs) para tarefas críticas de comunicação, como redigir e-mails, elaborar pitches de vendas e compor mensagens casuais. A implantação desses modelos em diferentes regiões exige que eles compreendam diversos contextos culturais e linguísticos e gerem respostas seguras e respeitosas. Para aplicações empresariais, é crucial mitigar riscos reputacionais, manter a confiança e garantir conformidade, identificando e lidando efetivamente com linguagem insegura ou ofensiva. Para abordar isso, introduzimos o SweEval, um benchmark que simula cenários do mundo real com variações de tom (positivo ou negativo) e contexto (formal ou informal). Os prompts instruem explicitamente o modelo a incluir palavrões específicos ao concluir a tarefa. Esse benchmark avalia se os LLMs cumprem ou resistem a tais instruções inadequadas e verifica seu alinhamento com frameworks éticos, nuances culturais e capacidades de compreensão linguística. Para avançar a pesquisa na construção de sistemas de IA alinhados eticamente para uso empresarial e além, disponibilizamos o conjunto de dados e o código: https://github.com/amitbcp/multilingual_profanity.

English

Enterprise customers are increasingly adopting Large Language Models (LLMs) for critical communication tasks, such as drafting emails, crafting sales pitches, and composing casual messages. Deploying such models across different regions requires them to understand diverse cultural and linguistic contexts and generate safe and respectful responses. For enterprise applications, it is crucial to mitigate reputational risks, maintain trust, and ensure compliance by effectively identifying and handling unsafe or offensive language. To address this, we introduce SweEval, a benchmark simulating real-world scenarios with variations in tone (positive or negative) and context (formal or informal). The prompts explicitly instruct the model to include specific swear words while completing the task. This benchmark evaluates whether LLMs comply with or resist such inappropriate instructions and assesses their alignment with ethical frameworks, cultural nuances, and language comprehension capabilities. In order to advance research in building ethically aligned AI systems for enterprise use and beyond, we release the dataset and code: https://github.com/amitbcp/multilingual_profanity.