Стилистическое искажение: несколько визуальных подсказок человека определяют большинство социальных предвзятостей в MLLM

Аннотация

Мультимодальные большие языковые модели (MLLMs) все чаще применяются в контекстах, имеющих личную и социальную значимость, однако визуальные сигналы, влияющие на то, как эти модели оценивают людей, остаются малоизученными. Предыдущие исследования часто сравнивают разные (группы) индивидов, что затрудняет отделение эффектов внешности от различий в идентичности. Мы представляем StylisticBias — контролируемый эталон для оценки социальных предубеждений на уровне атрибутов в MLLMs. Мы генерируем 500 фотореалистичных базовых лиц и создаем около 50 вариаций по одному атрибуту для каждого лица, что дает примерно 25 000 изображений. Такой дизайн сохраняет идентичность фиксированной и изменяет один визуальный атрибут за раз. Это позволяет измерять, как конкретные сигналы смещают суждения модели. Мы оцениваем шесть MLLMs в 25 бинарных сценариях социальных суждений. Мы обнаружили, что возраст и тип телосложения доминируют над эффектами на уровне идентичности, в то время как стиль одежды и другие визуальные сигналы вызывают наибольшие сдвиги на уровне атрибутов. Кроме того, около 15 атрибутов объясняют почти 80 % общей вариации, что указывает на концентрацию предвзятости в небольшом наборе визуальных сигналов. Чувствительность наиболее сильна в суждениях, семантически связанных с внешностью, особенно в суждениях о социально-экономическом статусе и стиле. Мы публикуем StylisticBias как эталон для тонкой оценки предвзятости в мультимодальных моделях. Код и набор данных: https://github.com/timo-cavelius/StylisticBias и https://hf.co/datasets/shaghayegh/stylistic-bias-dataset.

English

Multimodal large language models (MLLMs) are increasingly deployed in personally and societally consequential settings, yet the visual cues that shape how these models judge people remain poorly understood. Prior work often compares different (groups of) individuals, making it difficult to separate appearance effects from identity differences. We introduce StylisticBias, a controlled benchmark for evaluating attribute-level social bias in MLLMs. We generate 500 photorealistic base faces and create about 50 single-attribute variations per face, producing about 25K images. This design keeps identity fixed and changes one visual attribute at a time. It lets us measure how specific cues shift model judgments. We evaluate six MLLMs across 25 binary social judgment scenarios. We find that age and body type dominate identity-level effects, while fashion style and other visual cues drive the largest attribute-level shifts. We further find that about 15 attributes account for nearly 80\% of the total variation, showing that bias is concentrated in a small set of visual cues. Sensitivity is strongest in judgments that are semantically aligned with appearance, especially socioeconomic and style-related judgments. We release StylisticBias as a benchmark for fine-grained bias evaluation in multimodal models. Code and dataset: https://github.com/timo-cavelius/StylisticBias and https://hf.co/datasets/shaghayegh/stylistic-bias-dataset.