ToVo : Taxonomie de la toxicité par vote

ToVo: Toxicity Taxonomy via Voting

June 21, 2024

Auteurs: Tinh Son Luong, Thanh-Thien Le, Thang Viet Doan, Linh Ngo Van, Thien Huu Nguyen, Diep Thi-Ngoc Nguyen

cs.AI

Résumé

Les modèles existants de détection de toxicité présentent des limitations significatives, telles qu'un manque de transparence, de personnalisation et de reproductibilité. Ces défis découlent de la nature fermée de leurs données d'entraînement et du manque d'explications concernant leur mécanisme d'évaluation. Pour résoudre ces problèmes, nous proposons un mécanisme de création de jeux de données qui intègre des processus de vote et de chaîne de raisonnement, produisant ainsi un jeu de données open-source de haute qualité pour la détection de contenu toxique. Notre méthodologie garantit des métriques de classification diversifiées pour chaque échantillon et inclut à la fois des scores de classification et un raisonnement explicatif pour les classifications. Nous utilisons le jeu de données créé grâce à notre mécanisme proposé pour entraîner notre modèle, qui est ensuite comparé aux détecteurs largement utilisés existants. Notre approche améliore non seulement la transparence et la personnalisation, mais facilite également un meilleur ajustement fin pour des cas d'utilisation spécifiques. Ce travail contribue à un cadre robuste pour le développement de modèles de détection de contenu toxique, en mettant l'accent sur l'ouverture et l'adaptabilité, ouvrant ainsi la voie à des solutions de modération de contenu plus efficaces et spécifiques aux utilisateurs.

English

Existing toxic detection models face significant limitations, such as lack of transparency, customization, and reproducibility. These challenges stem from the closed-source nature of their training data and the paucity of explanations for their evaluation mechanism. To address these issues, we propose a dataset creation mechanism that integrates voting and chain-of-thought processes, producing a high-quality open-source dataset for toxic content detection. Our methodology ensures diverse classification metrics for each sample and includes both classification scores and explanatory reasoning for the classifications. We utilize the dataset created through our proposed mechanism to train our model, which is then compared against existing widely-used detectors. Our approach not only enhances transparency and customizability but also facilitates better fine-tuning for specific use cases. This work contributes a robust framework for developing toxic content detection models, emphasizing openness and adaptability, thus paving the way for more effective and user-specific content moderation solutions.