LLM in de Loop: Het Maken van de PARADEHATE Dataset voor Detoxificatie van Haatspraak

LLM in the Loop: Creating the PARADEHATE Dataset for Hate Speech Detoxification

June 2, 2025

Auteurs: Shuzhou Yuan, Ercong Nie, Lukas Kouba, Ashish Yashwanth Kangen, Helmut Schmid, Hinrich Schutze, Michael Farber

cs.AI

Samenvatting

Detoxificatie, de taak om schadelijk taalgebruik te herschrijven naar niet-toxische tekst, is steeds belangrijker geworden door de groeiende prevalentie van toxische inhoud online. Hoogwaardige parallelle datasets voor detoxificatie, met name voor haatspraak, blijven echter schaars vanwege de kosten en gevoeligheid van menselijke annotatie. In dit artikel stellen we een nieuwe LLM-in-the-loop-pijplijn voor die GPT-4o-mini gebruikt voor geautomatiseerde detoxificatie. We repliceren eerst de ParaDetox-pijplijn door menselijke annotators te vervangen door een LLM en laten zien dat de LLM vergelijkbaar presteert als menselijke annotatie. Hierop voortbouwend construeren we PARADEHATE, een grootschalige parallelle dataset specifiek voor detoxificatie van haatspraak. We publiceren PARADEHATE als een benchmark van meer dan 8K haat/niet-haat tekstparen en evalueren een breed scala aan basismethoden. Experimentele resultaten tonen aan dat modellen zoals BART, afgestemd op PARADEHATE, betere prestaties leveren op het gebied van stijlaccuraatheid, inhoudsbehoud en vloeiendheid, wat de effectiviteit aantoont van LLM-gegenereerde detoxificatietekst als een schaalbare alternatief voor menselijke annotatie.

English

Detoxification, the task of rewriting harmful language into non-toxic text, has become increasingly important amid the growing prevalence of toxic content online. However, high-quality parallel datasets for detoxification, especially for hate speech, remain scarce due to the cost and sensitivity of human annotation. In this paper, we propose a novel LLM-in-the-loop pipeline leveraging GPT-4o-mini for automated detoxification. We first replicate the ParaDetox pipeline by replacing human annotators with an LLM and show that the LLM performs comparably to human annotation. Building on this, we construct PARADEHATE, a large-scale parallel dataset specifically for hatespeech detoxification. We release PARADEHATE as a benchmark of over 8K hate/non-hate text pairs and evaluate a wide range of baseline methods. Experimental results show that models such as BART, fine-tuned on PARADEHATE, achieve better performance in style accuracy, content preservation, and fluency, demonstrating the effectiveness of LLM-generated detoxification text as a scalable alternative to human annotation.