LLM en el Ciclo: Creación del Conjunto de Datos PARADEHATE para la Desintoxicación del Discurso de Odio

LLM in the Loop: Creating the PARADEHATE Dataset for Hate Speech Detoxification

June 2, 2025

Autores: Shuzhou Yuan, Ercong Nie, Lukas Kouba, Ashish Yashwanth Kangen, Helmut Schmid, Hinrich Schutze, Michael Farber

cs.AI

Resumen

La desintoxicación, la tarea de reescribir lenguaje dañino en texto no tóxico, ha adquirido una importancia creciente ante la prevalencia cada vez mayor de contenido tóxico en línea. Sin embargo, los conjuntos de datos paralelos de alta calidad para la desintoxicación, especialmente en el caso del discurso de odio, siguen siendo escasos debido al costo y la sensibilidad de la anotación humana. En este artículo, proponemos una novedosa canalización de LLM-en-el-bucle que aprovecha GPT-4o-mini para la desintoxicación automatizada. Primero replicamos la canalización de ParaDetox reemplazando a los anotadores humanos con un LLM y demostramos que el LLM tiene un rendimiento comparable al de la anotación humana. Sobre esta base, construimos PARADEHATE, un conjunto de datos paralelo a gran escala específicamente para la desintoxicación del discurso de odio. Publicamos PARADEHATE como un punto de referencia que contiene más de 8K pares de texto de odio/no odio y evaluamos una amplia gama de métodos de referencia. Los resultados experimentales muestran que modelos como BART, ajustados en PARADEHATE, logran un mejor rendimiento en precisión de estilo, preservación de contenido y fluidez, demostrando la efectividad del texto de desintoxicación generado por LLM como una alternativa escalable a la anotación humana.

English

Detoxification, the task of rewriting harmful language into non-toxic text, has become increasingly important amid the growing prevalence of toxic content online. However, high-quality parallel datasets for detoxification, especially for hate speech, remain scarce due to the cost and sensitivity of human annotation. In this paper, we propose a novel LLM-in-the-loop pipeline leveraging GPT-4o-mini for automated detoxification. We first replicate the ParaDetox pipeline by replacing human annotators with an LLM and show that the LLM performs comparably to human annotation. Building on this, we construct PARADEHATE, a large-scale parallel dataset specifically for hatespeech detoxification. We release PARADEHATE as a benchmark of over 8K hate/non-hate text pairs and evaluate a wide range of baseline methods. Experimental results show that models such as BART, fine-tuned on PARADEHATE, achieve better performance in style accuracy, content preservation, and fluency, demonstrating the effectiveness of LLM-generated detoxification text as a scalable alternative to human annotation.