MineTheGap: Автоматическое выявление смещений в моделях генерации изображений по тексту
MineTheGap: Automatic Mining of Biases in Text-to-Image Models
December 15, 2025
Авторы: Noa Cohen, Nurit Spingarn-Eliezer, Inbar Huberman-Spiegelglas, Tomer Michaeli
cs.AI
Аннотация
Модели генерации изображений по текстовым описаниям (Text-to-Image, TTI) создают изображения на основе текстовых промптов, которые часто оставляют некоторые аспекты желаемого изображения неоднозначными. Сталкиваясь с такими неоднозначностями, TTI-модели, как было показано, демонстрируют смещения в своих интерпретациях. Эти смещения могут иметь социальные последствия, например, когда для указанной профессии отображаются люди только определенной расы. Они также могут негативно влиять на пользовательский опыт, создавая избыточность в наборе сгенерированных изображений вместо охвата разнообразных возможностей. В данной работе мы представляем MineTheGap — метод для автоматического поиска промптов, которые приводят к генерации TTI-моделью смещенных результатов. Наш метод выходит за рамки простого обнаружения смещения для заданного промпта. Вместо этого он использует генетический алгоритм для итеративного улучшения пула промптов, отыскивая те, которые выявляют смещения. Этот процесс оптимизации управляется новой метрикой смещения, которая ранжирует смещения по степени их серьезности, что мы проверяем на наборе данных с известными смещениями. Для заданного промпта эта оценка получается путем сравнения распределения сгенерированных изображений с распределением текстов, сгенерированных большой языковой моделью (LLM), которые представляют собой вариации исходного промпта. Код и примеры доступны на веб-странице проекта.
English
Text-to-Image (TTI) models generate images based on text prompts, which often leave certain aspects of the desired image ambiguous. When faced with these ambiguities, TTI models have been shown to exhibit biases in their interpretations. These biases can have societal impacts, e.g., when showing only a certain race for a stated occupation. They can also affect user experience when creating redundancy within a set of generated images instead of spanning diverse possibilities. Here, we introduce MineTheGap - a method for automatically mining prompts that cause a TTI model to generate biased outputs. Our method goes beyond merely detecting bias for a given prompt. Rather, it leverages a genetic algorithm to iteratively refine a pool of prompts, seeking for those that expose biases. This optimization process is driven by a novel bias score, which ranks biases according to their severity, as we validate on a dataset with known biases. For a given prompt, this score is obtained by comparing the distribution of generated images to the distribution of LLM-generated texts that constitute variations on the prompt. Code and examples are available on the project's webpage.