MineTheGap: Automatisch Mijnen van Vooroordelen in Tekst-naar-Beeldmodellen
MineTheGap: Automatic Mining of Biases in Text-to-Image Models
December 15, 2025
Auteurs: Noa Cohen, Nurit Spingarn-Eliezer, Inbar Huberman-Spiegelglas, Tomer Michaeli
cs.AI
Samenvatting
Tekst-naar-beeldmodellen (TTI) genereren afbeeldingen op basis van tekstprompts, waarbij bepaalde aspecten van de gewenste afbeelding vaak ongespecificeerd blijven. Wanneer zij met deze ambiguïteiten worden geconfronteerd, is aangetoond dat TTI-modellen vooroordelen vertonen in hun interpretaties. Deze vooroordelen kunnen maatschappelijke gevolgen hebben, bijvoorbeeld wanneer slechts één bepaald ras wordt getoond voor een genoemd beroep. Ze kunnen ook de gebruikerservaring beïnvloeden door redundantie te creëren binnen een set gegenereerde afbeeldingen in plaats van diverse mogelijkheden te omvatten. Hier introduceren we MineTheGap - een methode om automatisch prompts te vinden die ervoor zorgen dat een TTI-model bevooroordeelde output genereert. Onze methode gaat verder dan het louter detecteren van vooroordelen voor een gegeven prompt. In plaats daarvan gebruikt het een genetisch algoritme om een groep prompts iteratief te verfijnen, op zoek naar prompts die vooroordelen blootleggen. Dit optimalisatieproces wordt aangedreven door een nieuwe vooroordeelscore, die vooroordelen rangschikt naar ernst, zoals we valideren op een dataset met bekende vooroordelen. Voor een gegeven prompt wordt deze score verkregen door de verdeling van gegenereerde afbeeldingen te vergelijken met de verdeling van door een taalmodel gegenereerde teksten die varianten op de prompt vormen. Code en voorbeelden zijn beschikbaar op de projectwebpagina.
English
Text-to-Image (TTI) models generate images based on text prompts, which often leave certain aspects of the desired image ambiguous. When faced with these ambiguities, TTI models have been shown to exhibit biases in their interpretations. These biases can have societal impacts, e.g., when showing only a certain race for a stated occupation. They can also affect user experience when creating redundancy within a set of generated images instead of spanning diverse possibilities. Here, we introduce MineTheGap - a method for automatically mining prompts that cause a TTI model to generate biased outputs. Our method goes beyond merely detecting bias for a given prompt. Rather, it leverages a genetic algorithm to iteratively refine a pool of prompts, seeking for those that expose biases. This optimization process is driven by a novel bias score, which ranks biases according to their severity, as we validate on a dataset with known biases. For a given prompt, this score is obtained by comparing the distribution of generated images to the distribution of LLM-generated texts that constitute variations on the prompt. Code and examples are available on the project's webpage.