<think> それでは、このフレーズを侮辱に置き換えましょう... </think> 大規模言語モデル（LLM）を用いた有害テキスト生成から得られた教訓

<think> So let's replace this phrase with insult... </think> Lessons learned from generation of toxic texts with LLMs

September 10, 2025

著者: Sergey Pletenev, Daniil Moskovskiy, Alexander Panchenko

cs.AI

要旨

現代の大規模言語モデル（LLM）は、合成データの生成において優れた能力を発揮します。しかし、テキストの脱毒性化といったセンシティブな領域におけるその性能は、科学コミュニティから適切な注目を集めていません。本論文では、脱毒性化モデルのトレーニングにおいて、人間が生成したデータの代替としてLLMが生成した合成毒性データを使用する可能性を探ります。Llama 3およびQwenの活性化パッチを適用したモデルを使用し、ParaDetoxおよびSST-2データセットのニュートラルなテキストに対する合成毒性バージョンを生成しました。実験の結果、合成データでファインチューニングされたモデルは、人間が生成したデータでトレーニングされたモデルよりも一貫して性能が低く、結合指標において最大30%の性能低下が見られました。その根本的な原因は、重要な語彙の多様性のギャップにあります：LLMは、人間の毒性のニュアンスや多様性を捉えることができない、小さく繰り返しの多い侮辱語彙を使用して毒性コンテンツを生成します。これらの発見は、この領域における現在のLLMの限界を浮き彫りにし、堅牢な脱毒性化システムを構築するためには、多様で人間が注釈を付けたデータの重要性が依然として高いことを強調しています。

English

Modern Large Language Models (LLMs) are excellent at generating synthetic data. However, their performance in sensitive domains such as text detoxification has not received proper attention from the scientific community. This paper explores the possibility of using LLM-generated synthetic toxic data as an alternative to human-generated data for training models for detoxification. Using Llama 3 and Qwen activation-patched models, we generated synthetic toxic counterparts for neutral texts from ParaDetox and SST-2 datasets. Our experiments show that models fine-tuned on synthetic data consistently perform worse than those trained on human data, with a drop in performance of up to 30% in joint metrics. The root cause is identified as a critical lexical diversity gap: LLMs generate toxic content using a small, repetitive vocabulary of insults that fails to capture the nuances and variety of human toxicity. These findings highlight the limitations of current LLMs in this domain and emphasize the continued importance of diverse, human-annotated data for building robust detoxification systems.