Comprendre et atténuer la toxicité dans les ensembles de données de pré-entraînement image-texte : une étude de cas sur LLaVA

Understanding and Mitigating Toxicity in Image-Text Pretraining Datasets: A Case Study on LLaVA

May 9, 2025

Auteurs: Karthik Reddy Kanjula, Surya Guthikonda, Nahid Alam, Shayekh Bin Islam

cs.AI

Résumé

Les ensembles de données de pré-entraînement sont fondamentaux pour le développement de modèles multimodaux, mais ils contiennent souvent des biais inhérents et du contenu toxique provenant des corpus à l'échelle du web dont ils sont issus. Dans cet article, nous étudions la prévalence de la toxicité dans l'ensemble de données de pré-entraînement image-texte LLaVA, en examinant comment le contenu nuisible se manifeste dans différentes modalités. Nous présentons une analyse approfondie des catégories courantes de toxicité et proposons des stratégies ciblées d'atténuation, aboutissant à la création d'un ensemble de données raffiné et atténué en termes de toxicité. Cet ensemble de données supprime 7 531 paires image-texte toxiques dans le jeu de données de pré-entraînement LLaVA. Nous fournissons des lignes directrices pour la mise en œuvre de pipelines robustes de détection de la toxicité. Nos résultats soulignent la nécessité d'identifier et de filtrer activement le contenu toxique - tel que les discours haineux, les images explicites et le harcèlement ciblé - pour construire des systèmes multimodaux plus responsables et équitables. L'ensemble de données atténué en termes de toxicité est open source et disponible pour des recherches ultérieures.

English

Pretraining datasets are foundational to the development of multimodal models, yet they often have inherent biases and toxic content from the web-scale corpora they are sourced from. In this paper, we investigate the prevalence of toxicity in LLaVA image-text pretraining dataset, examining how harmful content manifests in different modalities. We present a comprehensive analysis of common toxicity categories and propose targeted mitigation strategies, resulting in the creation of a refined toxicity-mitigated dataset. This dataset removes 7,531 of toxic image-text pairs in the LLaVA pre-training dataset. We offer guidelines for implementing robust toxicity detection pipelines. Our findings underscore the need to actively identify and filter toxic content - such as hate speech, explicit imagery, and targeted harassment - to build more responsible and equitable multimodal systems. The toxicity-mitigated dataset is open source and is available for further research.