<think> Ersetzen wir diesen Ausdruck also durch Beleidigung... </think> Erkenntnisse aus der Generierung toxischer Texte mit LLMs

<think> So let's replace this phrase with insult... </think> Lessons learned from generation of toxic texts with LLMs

September 10, 2025

papers.authors: Sergey Pletenev, Daniil Moskovskiy, Alexander Panchenko

cs.AI

papers.abstract

Moderne Large Language Models (LLMs) sind hervorragend darin, synthetische Daten zu generieren. Ihre Leistung in sensiblen Bereichen wie der Textdetoxifizierung hat jedoch nicht die angemessene Aufmerksamkeit der wissenschaftlichen Gemeinschaft erhalten. Diese Arbeit untersucht die Möglichkeit, LLM-generierte synthetische toxische Daten als Alternative zu menschlich generierten Daten für das Training von Modellen zur Detoxifizierung zu verwenden. Mit Llama 3 und Qwen-Aktivierungsmodellen generierten wir synthetische toxische Gegenstücke zu neutralen Texten aus den Datensätzen ParaDetox und SST-2. Unsere Experimente zeigen, dass Modelle, die auf synthetischen Daten feinabgestimmt wurden, durchweg schlechter abschneiden als solche, die auf menschlichen Daten trainiert wurden, mit einem Leistungsabfall von bis zu 30 % in gemeinsamen Metriken. Die Ursache wird als eine kritische Lücke in der lexikalischen Vielfalt identifiziert: LLMs generieren toxische Inhalte mit einem kleinen, sich wiederholenden Vokabular von Beleidigungen, das die Nuancen und die Vielfalt menschlicher Toxizität nicht erfassen kann. Diese Ergebnisse unterstreichen die Grenzen aktueller LLMs in diesem Bereich und betonen die anhaltende Bedeutung von diversen, menschlich annotierten Daten für den Aufbau robuster Detoxifizierungssysteme.

English

Modern Large Language Models (LLMs) are excellent at generating synthetic data. However, their performance in sensitive domains such as text detoxification has not received proper attention from the scientific community. This paper explores the possibility of using LLM-generated synthetic toxic data as an alternative to human-generated data for training models for detoxification. Using Llama 3 and Qwen activation-patched models, we generated synthetic toxic counterparts for neutral texts from ParaDetox and SST-2 datasets. Our experiments show that models fine-tuned on synthetic data consistently perform worse than those trained on human data, with a drop in performance of up to 30% in joint metrics. The root cause is identified as a critical lexical diversity gap: LLMs generate toxic content using a small, repetitive vocabulary of insults that fails to capture the nuances and variety of human toxicity. These findings highlight the limitations of current LLMs in this domain and emphasize the continued importance of diverse, human-annotated data for building robust detoxification systems.