LLM nel ciclo: Creazione del dataset PARADEHATE per la decontaminazione dei discorsi d'odio

LLM in the Loop: Creating the PARADEHATE Dataset for Hate Speech Detoxification

June 2, 2025

Autori: Shuzhou Yuan, Ercong Nie, Lukas Kouba, Ashish Yashwanth Kangen, Helmut Schmid, Hinrich Schutze, Michael Farber

cs.AI

Abstract

La detossificazione, il compito di riscrivere linguaggio dannoso in testo non tossico, è diventata sempre più importante con la crescente diffusione di contenuti tossici online. Tuttavia, dataset paralleli di alta qualità per la detossificazione, in particolare per i discorsi d'odio, rimangono scarsi a causa dei costi e della sensibilità legati all'annotazione umana. In questo articolo, proponiamo una nuova pipeline LLM-in-the-loop che sfrutta GPT-4o-mini per la detossificazione automatizzata. Inizialmente, replichiamo la pipeline ParaDetox sostituendo gli annotatori umani con un LLM e dimostriamo che l'LLM performa in modo comparabile all'annotazione umana. Sulla base di ciò, costruiamo PARADEHATE, un dataset parallelo su larga scala specificamente per la detossificazione dei discorsi d'odio. Rilasciamo PARADEHATE come benchmark con oltre 8K coppie di testo odioso/non odioso e valutiamo una vasta gamma di metodi di base. I risultati sperimentali mostrano che modelli come BART, addestrati su PARADEHATE, raggiungono prestazioni migliori in termini di accuratezza stilistica, preservazione del contenuto e fluidità, dimostrando l'efficacia del testo detossificato generato da LLM come alternativa scalabile all'annotazione umana.

English

Detoxification, the task of rewriting harmful language into non-toxic text, has become increasingly important amid the growing prevalence of toxic content online. However, high-quality parallel datasets for detoxification, especially for hate speech, remain scarce due to the cost and sensitivity of human annotation. In this paper, we propose a novel LLM-in-the-loop pipeline leveraging GPT-4o-mini for automated detoxification. We first replicate the ParaDetox pipeline by replacing human annotators with an LLM and show that the LLM performs comparably to human annotation. Building on this, we construct PARADEHATE, a large-scale parallel dataset specifically for hatespeech detoxification. We release PARADEHATE as a benchmark of over 8K hate/non-hate text pairs and evaluate a wide range of baseline methods. Experimental results show that models such as BART, fine-tuned on PARADEHATE, achieve better performance in style accuracy, content preservation, and fluency, demonstrating the effectiveness of LLM-generated detoxification text as a scalable alternative to human annotation.