<think> Laten we deze zin vervangen door belediging... </think> Lessen geleerd uit het genereren van giftige teksten met LLM's

<think> So let's replace this phrase with insult... </think> Lessons learned from generation of toxic texts with LLMs

September 10, 2025

Auteurs: Sergey Pletenev, Daniil Moskovskiy, Alexander Panchenko

cs.AI

Samenvatting

Moderne Large Language Models (LLMs) zijn uitstekend in het genereren van synthetische data. Hun prestaties in gevoelige domeinen zoals tekstdetoxicatie hebben echter niet de nodige aandacht gekregen van de wetenschappelijke gemeenschap. Dit artikel onderzoekt de mogelijkheid om door LLM gegenereerde synthetische giftige data te gebruiken als alternatief voor door mensen gegenereerde data voor het trainen van modellen voor detoxicatie. Met behulp van Llama 3 en Qwen activation-patched modellen hebben we synthetische giftige tegenhangers gegenereerd voor neutrale teksten uit de ParaDetox- en SST-2 datasets. Onze experimenten tonen aan dat modellen die zijn afgestemd op synthetische data consistent slechter presteren dan die getraind op menselijke data, met een prestatieverlies van tot 30% in gezamenlijke metrieken. De oorzaak wordt geïdentificeerd als een kritieke kloof in lexicale diversiteit: LLM's genereren giftige inhoud met een kleine, repetitieve woordenschat van beledigingen die de nuances en variatie van menselijke toxiciteit niet vastleggen. Deze bevindingen benadrukken de beperkingen van huidige LLM's in dit domein en onderstrepen het voortdurende belang van diverse, door mensen geannoteerde data voor het bouwen van robuuste detoxicatiesystemen.

English

Modern Large Language Models (LLMs) are excellent at generating synthetic data. However, their performance in sensitive domains such as text detoxification has not received proper attention from the scientific community. This paper explores the possibility of using LLM-generated synthetic toxic data as an alternative to human-generated data for training models for detoxification. Using Llama 3 and Qwen activation-patched models, we generated synthetic toxic counterparts for neutral texts from ParaDetox and SST-2 datasets. Our experiments show that models fine-tuned on synthetic data consistently perform worse than those trained on human data, with a drop in performance of up to 30% in joint metrics. The root cause is identified as a critical lexical diversity gap: LLMs generate toxic content using a small, repetitive vocabulary of insults that fails to capture the nuances and variety of human toxicity. These findings highlight the limitations of current LLMs in this domain and emphasize the continued importance of diverse, human-annotated data for building robust detoxification systems.