MineTheGap : Extraction automatique des biais dans les modèles texte-image
MineTheGap: Automatic Mining of Biases in Text-to-Image Models
December 15, 2025
papers.authors: Noa Cohen, Nurit Spingarn-Eliezer, Inbar Huberman-Spiegelglas, Tomer Michaeli
cs.AI
papers.abstract
Les modèles de génération d'images à partir de texte (TTI) produisent des images basées sur des invites textuelles, qui laissent souvent certains aspects de l'image souhaitée ambigus. Face à ces ambiguïtés, il a été démontré que les modèles TTI présentent des biais dans leurs interprétations. Ces biais peuvent avoir des impacts sociétaux, par exemple en ne montrant qu'une certaine ethnie pour une profession donnée. Ils peuvent également affecter l'expérience utilisateur en créant des redondances dans un ensemble d'images générées au lieu d'explorer des possibilités diverses. Nous présentons ici MineTheGap - une méthode pour extraire automatiquement les invites qui amènent un modèle TTI à produire des sorties biaisées. Notre méthode va au-delà de la simple détection des biais pour une invite donnée. Elle exploite plutôt un algorithme génétique pour affiner itérativement un pool d'invites, cherchant celles qui révèlent des biais. Ce processus d'optimisation est piloté par un nouveau score de biais, qui classe les biais selon leur gravité, comme nous le validons sur un jeu de données contenant des biais connus. Pour une invite donnée, ce score est obtenu en comparant la distribution des images générées à la distribution des textes générés par un LLM qui constituent des variations de l'invite. Le code et des exemples sont disponibles sur la page web du projet.
English
Text-to-Image (TTI) models generate images based on text prompts, which often leave certain aspects of the desired image ambiguous. When faced with these ambiguities, TTI models have been shown to exhibit biases in their interpretations. These biases can have societal impacts, e.g., when showing only a certain race for a stated occupation. They can also affect user experience when creating redundancy within a set of generated images instead of spanning diverse possibilities. Here, we introduce MineTheGap - a method for automatically mining prompts that cause a TTI model to generate biased outputs. Our method goes beyond merely detecting bias for a given prompt. Rather, it leverages a genetic algorithm to iteratively refine a pool of prompts, seeking for those that expose biases. This optimization process is driven by a novel bias score, which ranks biases according to their severity, as we validate on a dataset with known biases. For a given prompt, this score is obtained by comparing the distribution of generated images to the distribution of LLM-generated texts that constitute variations on the prompt. Code and examples are available on the project's webpage.