<think> Quindi sostituiamo questa frase con un insulto... </think> Lezioni apprese dalla generazione di testi tossici con i LLM

<think> So let's replace this phrase with insult... </think> Lessons learned from generation of toxic texts with LLMs

September 10, 2025

Autori: Sergey Pletenev, Daniil Moskovskiy, Alexander Panchenko

cs.AI

Abstract

I moderni Large Language Models (LLM) sono eccellenti nella generazione di dati sintetici. Tuttavia, le loro prestazioni in domini sensibili come la detossificazione del testo non hanno ricevuto la dovuta attenzione da parte della comunità scientifica. Questo articolo esplora la possibilità di utilizzare dati tossici sintetici generati da LLM come alternativa ai dati generati da esseri umani per addestrare modelli di detossificazione. Utilizzando i modelli Llama 3 e Qwen con attivazione modificata, abbiamo generato controparti tossiche sintetiche per testi neutri provenienti dai dataset ParaDetox e SST-2. I nostri esperimenti dimostrano che i modelli fine-tuned su dati sintetici performano costantemente peggio rispetto a quelli addestrati su dati umani, con un calo delle prestazioni fino al 30% nelle metriche congiunte. La causa principale è stata identificata in un gap critico di diversità lessicale: gli LLM generano contenuti tossici utilizzando un vocabolario ristretto e ripetitivo di insulti che non riesce a catturare le sfumature e la varietà della tossicità umana. Questi risultati evidenziano i limiti degli attuali LLM in questo dominio e sottolineano l'importanza continua di dati diversificati e annotati da esseri umani per costruire sistemi di detossificazione robusti.

English

Modern Large Language Models (LLMs) are excellent at generating synthetic data. However, their performance in sensitive domains such as text detoxification has not received proper attention from the scientific community. This paper explores the possibility of using LLM-generated synthetic toxic data as an alternative to human-generated data for training models for detoxification. Using Llama 3 and Qwen activation-patched models, we generated synthetic toxic counterparts for neutral texts from ParaDetox and SST-2 datasets. Our experiments show that models fine-tuned on synthetic data consistently perform worse than those trained on human data, with a drop in performance of up to 30% in joint metrics. The root cause is identified as a critical lexical diversity gap: LLMs generate toxic content using a small, repetitive vocabulary of insults that fails to capture the nuances and variety of human toxicity. These findings highlight the limitations of current LLMs in this domain and emphasize the continued importance of diverse, human-annotated data for building robust detoxification systems.