StylisticBias: Een paar menselijke visuele aanwijzingen sturen de meeste sociale vooroordelen in MLLMs.

Samenvatting

Multimodale grote taalmodellen (MLLMs) worden steeds vaker ingezet in persoonlijke en maatschappelijk relevante contexten, maar de visuele aanwijzingen die bepalen hoe deze modellen mensen beoordelen, zijn nog slecht begrepen. Eerder onderzoek vergelijkt vaak verschillende (groepen) individuen, waardoor het moeilijk is om effecten van uiterlijk te scheiden van identiteitsverschillen. Wij introduceren StylisticBias, een gecontroleerde benchmark voor het evalueren van sociale bias op attribuutniveau in MLLMs. We genereren 500 fotorealistische basisgezichten en creëren per gezicht ongeveer 50 enkelvoudige attribuutvariaties, wat resulteert in ongeveer 25.000 afbeeldingen. Dit ontwerp houdt de identiteit vast en verandert telkens één visueel attribuut. Het stelt ons in staat om te meten hoe specifieke aanwijzingen modeloordelen verschuiven. We evalueren zes MLLMs in 25 binaire sociale oordeelsscenario's. We vinden dat leeftijd en lichaamstype dominante effecten hebben op identiteitsniveau, terwijl modestijl en andere visuele aanwijzingen de grootste verschuivingen op attribuutniveau veroorzaken. Verder zien we dat ongeveer 15 attributen verantwoordelijk zijn voor bijna 80% van de totale variatie, wat aangeeft dat bias geconcentreerd is in een kleine set visuele aanwijzingen. De gevoeligheid is het sterkst bij oordelen die semantisch overeenkomen met het uiterlijk, met name bij sociaaleconomische en stijlgerelateerde oordelen. We publiceren StylisticBias als een benchmark voor fijnmazige biasevaluatie in multimodale modellen. Code en dataset: https://github.com/timo-cavelius/StylisticBias en https://hf.co/datasets/shaghayegh/stylistic-bias-dataset.

English

Multimodal large language models (MLLMs) are increasingly deployed in personally and societally consequential settings, yet the visual cues that shape how these models judge people remain poorly understood. Prior work often compares different (groups of) individuals, making it difficult to separate appearance effects from identity differences. We introduce StylisticBias, a controlled benchmark for evaluating attribute-level social bias in MLLMs. We generate 500 photorealistic base faces and create about 50 single-attribute variations per face, producing about 25K images. This design keeps identity fixed and changes one visual attribute at a time. It lets us measure how specific cues shift model judgments. We evaluate six MLLMs across 25 binary social judgment scenarios. We find that age and body type dominate identity-level effects, while fashion style and other visual cues drive the largest attribute-level shifts. We further find that about 15 attributes account for nearly 80\% of the total variation, showing that bias is concentrated in a small set of visual cues. Sensitivity is strongest in judgments that are semantically aligned with appearance, especially socioeconomic and style-related judgments. We release StylisticBias as a benchmark for fine-grained bias evaluation in multimodal models. Code and dataset: https://github.com/timo-cavelius/StylisticBias and https://hf.co/datasets/shaghayegh/stylistic-bias-dataset.