<think> Então, vamos substituir essa frase por insulto... </think> Lições aprendidas com a geração de textos tóxicos usando LLMs

<think> So let's replace this phrase with insult... </think> Lessons learned from generation of toxic texts with LLMs

September 10, 2025

Autores: Sergey Pletenev, Daniil Moskovskiy, Alexander Panchenko

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) modernos são excelentes na geração de dados sintéticos. No entanto, seu desempenho em domínios sensíveis, como a desintoxicação de texto, não tem recebido a devida atenção da comunidade científica. Este artigo explora a possibilidade de usar dados tóxicos sintéticos gerados por LLMs como uma alternativa aos dados gerados por humanos para treinar modelos de desintoxicação. Utilizando modelos Llama 3 e Qwen com ativação modificada, geramos contrapartes tóxicas sintéticas para textos neutros dos conjuntos de dados ParaDetox e SST-2. Nossos experimentos mostram que modelos ajustados com dados sintéticos consistentemente têm um desempenho inferior aos treinados com dados humanos, com uma queda de até 30% em métricas conjuntas. A causa raiz foi identificada como uma lacuna crítica na diversidade lexical: os LLMs geram conteúdo tóxico usando um vocabulário pequeno e repetitivo de insultos que não captura as nuances e a variedade da toxicidade humana. Esses achados destacam as limitações dos LLMs atuais nesse domínio e enfatizam a importância contínua de dados diversos e anotados por humanos para a construção de sistemas robustos de desintoxicação.

English

Modern Large Language Models (LLMs) are excellent at generating synthetic data. However, their performance in sensitive domains such as text detoxification has not received proper attention from the scientific community. This paper explores the possibility of using LLM-generated synthetic toxic data as an alternative to human-generated data for training models for detoxification. Using Llama 3 and Qwen activation-patched models, we generated synthetic toxic counterparts for neutral texts from ParaDetox and SST-2 datasets. Our experiments show that models fine-tuned on synthetic data consistently perform worse than those trained on human data, with a drop in performance of up to 30% in joint metrics. The root cause is identified as a critical lexical diversity gap: LLMs generate toxic content using a small, repetitive vocabulary of insults that fails to capture the nuances and variety of human toxicity. These findings highlight the limitations of current LLMs in this domain and emphasize the continued importance of diverse, human-annotated data for building robust detoxification systems.