LLM в цикле: создание набора данных PARADEHATE для детоксикации языка ненависти

LLM in the Loop: Creating the PARADEHATE Dataset for Hate Speech Detoxification

June 2, 2025

Авторы: Shuzhou Yuan, Ercong Nie, Lukas Kouba, Ashish Yashwanth Kangen, Helmut Schmid, Hinrich Schutze, Michael Farber

cs.AI

Аннотация

Детоксификация, задача переписывания вредоносного языка в нетоксичный текст, становится все более важной на фоне растущего распространения токсичного контента в интернете. Однако высококачественные параллельные наборы данных для детоксификации, особенно для языка ненависти, остаются редкими из-за затрат и чувствительности, связанных с аннотированием человеком. В данной статье мы предлагаем новый подход с использованием LLM (языковой модели) в цикле, основанный на GPT-4o-mini для автоматизированной детоксификации. Сначала мы воспроизводим конвейер ParaDetox, заменяя человеческих аннотаторов на LLM, и показываем, что LLM работает сопоставимо с аннотированием человеком. На основе этого мы создаем PARADEHATE, крупномасштабный параллельный набор данных, специально предназначенный для детоксификации языка ненависти. Мы публикуем PARADEHATE как эталонный набор, содержащий более 8 тысяч пар текстов (ненависть/без ненависти), и оцениваем широкий спектр базовых методов. Результаты экспериментов показывают, что модели, такие как BART, дообученные на PARADEHATE, достигают лучших показателей в точности стиля, сохранении содержания и беглости, демонстрируя эффективность текстов, сгенерированных LLM для детоксификации, как масштабируемой альтернативы аннотированию человеком.

English

Detoxification, the task of rewriting harmful language into non-toxic text, has become increasingly important amid the growing prevalence of toxic content online. However, high-quality parallel datasets for detoxification, especially for hate speech, remain scarce due to the cost and sensitivity of human annotation. In this paper, we propose a novel LLM-in-the-loop pipeline leveraging GPT-4o-mini for automated detoxification. We first replicate the ParaDetox pipeline by replacing human annotators with an LLM and show that the LLM performs comparably to human annotation. Building on this, we construct PARADEHATE, a large-scale parallel dataset specifically for hatespeech detoxification. We release PARADEHATE as a benchmark of over 8K hate/non-hate text pairs and evaluate a wide range of baseline methods. Experimental results show that models such as BART, fine-tuned on PARADEHATE, achieve better performance in style accuracy, content preservation, and fluency, demonstrating the effectiveness of LLM-generated detoxification text as a scalable alternative to human annotation.