LLMを活用したループ：ヘイトスピーチ浄化のためのPARADEHATEデータセットの作成

要旨

有害な言語を無害なテキストに書き換えるタスクであるデトックス化は、オンライン上での有害コンテンツの増加に伴い、その重要性が高まっています。しかし、特にヘイトスピーチに対するデトックス化のための高品質な並列データセットは、人間によるアノテーションのコストとセンシティビティのため、依然として不足しています。本論文では、GPT-4o-miniを活用した新しいLLM-in-the-loopパイプラインを提案し、自動デトックス化を実現します。まず、ParaDetoxパイプラインを人間のアノテーターではなくLLMで置き換えて再現し、LLMが人間のアノテーションと同等の性能を発揮することを示します。これを基に、ヘイトスピーチのデトックス化に特化した大規模な並列データセットであるPARADEHATEを構築します。PARADEHATEを8,000以上のヘイト/非ヘイトテキストペアのベンチマークとして公開し、幅広いベースラインメソッドを評価します。実験結果から、PARADEHATEでファインチューニングされたBARTなどのモデルが、スタイルの正確性、コンテンツの保持、流暢さにおいて優れた性能を達成し、LLMが生成するデトックス化テキストが人間のアノテーションに代わるスケーラブルな代替手段として有効であることを示しています。

English

Detoxification, the task of rewriting harmful language into non-toxic text, has become increasingly important amid the growing prevalence of toxic content online. However, high-quality parallel datasets for detoxification, especially for hate speech, remain scarce due to the cost and sensitivity of human annotation. In this paper, we propose a novel LLM-in-the-loop pipeline leveraging GPT-4o-mini for automated detoxification. We first replicate the ParaDetox pipeline by replacing human annotators with an LLM and show that the LLM performs comparably to human annotation. Building on this, we construct PARADEHATE, a large-scale parallel dataset specifically for hatespeech detoxification. We release PARADEHATE as a benchmark of over 8K hate/non-hate text pairs and evaluate a wide range of baseline methods. Experimental results show that models such as BART, fine-tuned on PARADEHATE, achieve better performance in style accuracy, content preservation, and fluency, demonstrating the effectiveness of LLM-generated detoxification text as a scalable alternative to human annotation.

LLMを活用したループ：ヘイトスピーチ浄化のためのPARADEHATEデータセットの作成

LLM in the Loop: Creating the PARADEHATE Dataset for Hate Speech Detoxification

要旨

Support