ToVo: Taxonomía de Toxicidad mediante Votación

ToVo: Toxicity Taxonomy via Voting

June 21, 2024

Autores: Tinh Son Luong, Thanh-Thien Le, Thang Viet Doan, Linh Ngo Van, Thien Huu Nguyen, Diep Thi-Ngoc Nguyen

cs.AI

Resumen

Los modelos existentes de detección de contenido tóxico enfrentan limitaciones significativas, como la falta de transparencia, personalización y reproducibilidad. Estos desafíos surgen de la naturaleza cerrada de sus datos de entrenamiento y la escasez de explicaciones sobre su mecanismo de evaluación. Para abordar estos problemas, proponemos un mecanismo de creación de conjuntos de datos que integra procesos de votación y cadena de pensamiento, produciendo un conjunto de datos de código abierto de alta calidad para la detección de contenido tóxico. Nuestra metodología garantiza métricas de clasificación diversas para cada muestra e incluye tanto puntuaciones de clasificación como razonamientos explicativos para las clasificaciones. Utilizamos el conjunto de datos creado a través de nuestro mecanismo propuesto para entrenar nuestro modelo, el cual luego se compara con detectores ampliamente utilizados existentes. Nuestro enfoque no solo mejora la transparencia y la personalización, sino que también facilita un mejor ajuste fino para casos de uso específicos. Este trabajo contribuye con un marco robusto para el desarrollo de modelos de detección de contenido tóxico, enfatizando la apertura y la adaptabilidad, allanando así el camino para soluciones de moderación de contenido más efectivas y específicas para el usuario.

English

Existing toxic detection models face significant limitations, such as lack of transparency, customization, and reproducibility. These challenges stem from the closed-source nature of their training data and the paucity of explanations for their evaluation mechanism. To address these issues, we propose a dataset creation mechanism that integrates voting and chain-of-thought processes, producing a high-quality open-source dataset for toxic content detection. Our methodology ensures diverse classification metrics for each sample and includes both classification scores and explanatory reasoning for the classifications. We utilize the dataset created through our proposed mechanism to train our model, which is then compared against existing widely-used detectors. Our approach not only enhances transparency and customizability but also facilitates better fine-tuning for specific use cases. This work contributes a robust framework for developing toxic content detection models, emphasizing openness and adaptability, thus paving the way for more effective and user-specific content moderation solutions.