Итак, давайте заменим эту фразу на оскорбление... Уроки, извлеченные из генерации токсичных текстов с помощью языковых моделей (LLMs)

<think> So let's replace this phrase with insult... </think> Lessons learned from generation of toxic texts with LLMs

September 10, 2025

Авторы: Sergey Pletenev, Daniil Moskovskiy, Alexander Panchenko

cs.AI

Аннотация

Современные крупные языковые модели (LLM) отлично справляются с генерацией синтетических данных. Однако их производительность в чувствительных областях, таких как детоксификация текста, не получила должного внимания со стороны научного сообщества. В данной статье исследуется возможность использования синтетических токсичных данных, сгенерированных LLM, в качестве альтернативы данным, созданным человеком, для обучения моделей детоксификации. С использованием моделей Llama 3 и Qwen с активационными патчами мы сгенерировали синтетические токсичные аналоги для нейтральных текстов из наборов данных ParaDetox и SST-2. Наши эксперименты показывают, что модели, дообученные на синтетических данных, стабильно показывают худшие результаты по сравнению с моделями, обученными на данных, созданных человеком, с падением производительности до 30% по совокупным метрикам. Основная причина заключается в критическом разрыве в лексическом разнообразии: LLM генерируют токсичный контент, используя небольшой, повторяющийся набор оскорблений, который не способен передать нюансы и разнообразие человеческой токсичности. Эти результаты подчеркивают ограничения современных LLM в данной области и акцентируют важность использования разнообразных, аннотированных человеком данных для создания надежных систем детоксификации.

English

Modern Large Language Models (LLMs) are excellent at generating synthetic data. However, their performance in sensitive domains such as text detoxification has not received proper attention from the scientific community. This paper explores the possibility of using LLM-generated synthetic toxic data as an alternative to human-generated data for training models for detoxification. Using Llama 3 and Qwen activation-patched models, we generated synthetic toxic counterparts for neutral texts from ParaDetox and SST-2 datasets. Our experiments show that models fine-tuned on synthetic data consistently perform worse than those trained on human data, with a drop in performance of up to 30% in joint metrics. The root cause is identified as a critical lexical diversity gap: LLMs generate toxic content using a small, repetitive vocabulary of insults that fails to capture the nuances and variety of human toxicity. These findings highlight the limitations of current LLMs in this domain and emphasize the continued importance of diverse, human-annotated data for building robust detoxification systems.