ToVo: Tassonomia della Tossicità tramite Votazione

ToVo: Toxicity Taxonomy via Voting

June 21, 2024

Autori: Tinh Son Luong, Thanh-Thien Le, Thang Viet Doan, Linh Ngo Van, Thien Huu Nguyen, Diep Thi-Ngoc Nguyen

cs.AI

Abstract

I modelli esistenti per il rilevamento di contenuti tossici presentano limitazioni significative, come la mancanza di trasparenza, personalizzazione e riproducibilità. Queste sfide derivano dalla natura closed-source dei loro dati di addestramento e dalla scarsità di spiegazioni riguardo al loro meccanismo di valutazione. Per affrontare questi problemi, proponiamo un meccanismo di creazione di dataset che integra processi di voto e di ragionamento a catena (chain-of-thought), producendo un dataset open-source di alta qualità per il rilevamento di contenuti tossici. La nostra metodologia garantisce metriche di classificazione diversificate per ciascun campione e include sia i punteggi di classificazione che il ragionamento esplicativo per le classificazioni. Utilizziamo il dataset creato attraverso il nostro meccanismo proposto per addestrare il nostro modello, che viene poi confrontato con i rilevatori ampiamente utilizzati esistenti. Il nostro approccio non solo migliora la trasparenza e la personalizzabilità, ma facilita anche un migliore fine-tuning per casi d'uso specifici. Questo lavoro contribuisce con un framework robusto per lo sviluppo di modelli di rilevamento di contenuti tossici, enfatizzando l'apertura e l'adattabilità, aprendo così la strada a soluzioni di moderazione dei contenuti più efficaci e specifiche per l'utente.

English

Existing toxic detection models face significant limitations, such as lack of transparency, customization, and reproducibility. These challenges stem from the closed-source nature of their training data and the paucity of explanations for their evaluation mechanism. To address these issues, we propose a dataset creation mechanism that integrates voting and chain-of-thought processes, producing a high-quality open-source dataset for toxic content detection. Our methodology ensures diverse classification metrics for each sample and includes both classification scores and explanatory reasoning for the classifications. We utilize the dataset created through our proposed mechanism to train our model, which is then compared against existing widely-used detectors. Our approach not only enhances transparency and customizability but also facilitates better fine-tuning for specific use cases. This work contributes a robust framework for developing toxic content detection models, emphasizing openness and adaptability, thus paving the way for more effective and user-specific content moderation solutions.