ToVo: Taxonomia de Toxicidade por Votação

ToVo: Toxicity Taxonomy via Voting

June 21, 2024

Autores: Tinh Son Luong, Thanh-Thien Le, Thang Viet Doan, Linh Ngo Van, Thien Huu Nguyen, Diep Thi-Ngoc Nguyen

cs.AI

Resumo

Os modelos existentes de detecção de conteúdo tóxico enfrentam limitações significativas, como falta de transparência, personalização e reprodutibilidade. Esses desafios derivam da natureza de código fechado de seus dados de treinamento e da escassez de explicações para seu mecanismo de avaliação. Para lidar com essas questões, propomos um mecanismo de criação de conjunto de dados que integra votação e processos de encadeamento de pensamento, produzindo um conjunto de dados de código aberto de alta qualidade para detecção de conteúdo tóxico. Nossa metodologia garante métricas de classificação diversas para cada amostra e inclui tanto pontuações de classificação quanto raciocínio explicativo para as classificações. Utilizamos o conjunto de dados criado por meio de nosso mecanismo proposto para treinar nosso modelo, que é então comparado com detectores amplamente utilizados existentes. Nossa abordagem não apenas aprimora a transparência e a customização, mas também facilita um melhor ajuste fino para casos de uso específicos. Este trabalho contribui com um framework robusto para o desenvolvimento de modelos de detecção de conteúdo tóxico, enfatizando a abertura e adaptabilidade, abrindo caminho para soluções de moderação de conteúdo mais eficazes e específicas para o usuário.

English

Existing toxic detection models face significant limitations, such as lack of transparency, customization, and reproducibility. These challenges stem from the closed-source nature of their training data and the paucity of explanations for their evaluation mechanism. To address these issues, we propose a dataset creation mechanism that integrates voting and chain-of-thought processes, producing a high-quality open-source dataset for toxic content detection. Our methodology ensures diverse classification metrics for each sample and includes both classification scores and explanatory reasoning for the classifications. We utilize the dataset created through our proposed mechanism to train our model, which is then compared against existing widely-used detectors. Our approach not only enhances transparency and customizability but also facilitates better fine-tuning for specific use cases. This work contributes a robust framework for developing toxic content detection models, emphasizing openness and adaptability, thus paving the way for more effective and user-specific content moderation solutions.