StylisticBias: Einige wenige menschliche visuelle Hinweise verursachen die meisten sozialen Verzerrungen in MLLMs

Zusammenfassung

Multimodale große Sprachmodelle (MLLMs) werden zunehmend in persönlich und gesellschaftlich folgenreichen Kontexten eingesetzt, doch die visuellen Hinweise, die die Urteile dieser Modelle über Menschen prägen, sind nach wie vor kaum verstanden. Bisherige Arbeiten vergleichen oft verschiedene (Gruppen von) Individuen, was es erschwert, Erscheinungseffekte von Identitätsunterschieden zu trennen. Wir führen StylisticBias ein, einen kontrollierten Benchmark zur Bewertung attributspezifischer sozialer Verzerrungen in MLLMs. Wir generieren 500 fotorealistische Basisgesichter und erstellen pro Gesicht etwa 50 Einzelattribut-Variationen, wodurch etwa 25.000 Bilder entstehen. Dieses Design hält die Identität konstant und ändert jeweils nur ein visuelles Attribut. Es ermöglicht uns zu messen, wie spezifische Hinweise die Modellurteile verschieben. Wir evaluieren sechs MLLMs in 25 binären sozialen Urteilsszenarien. Wir stellen fest, dass Alter und Körpertyp die stärksten Effekte auf Identitätsebene hervorrufen, während Modestil und andere visuelle Hinweise die größten attributspezifischen Verschiebungen bewirken. Weiterhin zeigen wir, dass etwa 15 Attribute für nahezu 80 % der Gesamtvariation verantwortlich sind, was darauf hindeutet, dass sich die Verzerrung auf eine kleine Menge visueller Hinweise konzentriert. Die Sensitivität ist am stärksten bei Urteilen, die semantisch mit dem Erscheinungsbild übereinstimmen, insbesondere bei sozioökonomischen und stilbezogenen Urteilen. Wir veröffentlichen StylisticBias als Benchmark für die feinkörnige Bewertung von Verzerrungen in multimodalen Modellen. Code und Datensatz: https://github.com/timo-cavelius/StylisticBias und https://hf.co/datasets/shaghayegh/stylistic-bias-dataset.

English

Multimodal large language models (MLLMs) are increasingly deployed in personally and societally consequential settings, yet the visual cues that shape how these models judge people remain poorly understood. Prior work often compares different (groups of) individuals, making it difficult to separate appearance effects from identity differences. We introduce StylisticBias, a controlled benchmark for evaluating attribute-level social bias in MLLMs. We generate 500 photorealistic base faces and create about 50 single-attribute variations per face, producing about 25K images. This design keeps identity fixed and changes one visual attribute at a time. It lets us measure how specific cues shift model judgments. We evaluate six MLLMs across 25 binary social judgment scenarios. We find that age and body type dominate identity-level effects, while fashion style and other visual cues drive the largest attribute-level shifts. We further find that about 15 attributes account for nearly 80\% of the total variation, showing that bias is concentrated in a small set of visual cues. Sensitivity is strongest in judgments that are semantically aligned with appearance, especially socioeconomic and style-related judgments. We release StylisticBias as a benchmark for fine-grained bias evaluation in multimodal models. Code and dataset: https://github.com/timo-cavelius/StylisticBias and https://hf.co/datasets/shaghayegh/stylistic-bias-dataset.