StylisticBias: Unas pocas señales visuales humanas impulsan la mayoría de los sesgos sociales en los MLLMs

Resumen

Los modelos de lenguaje grandes multimodales (MLLMs) se despliegan cada vez más en entornos de consecuencias personales y sociales, pero las señales visuales que moldean cómo estos modelos juzgan a las personas siguen siendo poco comprendidas. Trabajos previos a menudo comparan diferentes (grupos de) individuos, lo que dificulta separar los efectos de la apariencia de las diferencias de identidad. Introducimos StylisticBias, un punto de referencia controlado para evaluar el sesgo social a nivel de atributos en los MLLMs. Generamos 500 rostros base fotorrealistas y creamos aproximadamente 50 variaciones de un solo atributo por rostro, produciendo alrededor de 25,000 imágenes. Este diseño mantiene fija la identidad y cambia un atributo visual a la vez, permitiéndonos medir cómo señales específicos alteran los juicios del modelo. Evaluamos seis MLLMs en 25 escenarios de juicio social binarios. Encontramos que la edad y el tipo de cuerpo dominan los efectos a nivel de identidad, mientras que el estilo de moda y otras señales visuales impulsan los mayores cambios a nivel de atributos. Además, hallamos que aproximadamente 15 atributos representan casi el 80% de la variación total, lo que muestra que el sesgo se concentra en un conjunto reducido de señales visuales. La sensibilidad es más fuerte en juicios que están semánticamente alineados con la apariencia, especialmente en juicios socioeconómicos y relacionados con el estilo. Publicamos StylisticBias como un punto de referencia para la evaluación detallada del sesgo en modelos multimodales. Código y conjunto de datos: https://github.com/timo-cavelius/StylisticBias y https://hf.co/datasets/shaghayegh/stylistic-bias-dataset.

English

Multimodal large language models (MLLMs) are increasingly deployed in personally and societally consequential settings, yet the visual cues that shape how these models judge people remain poorly understood. Prior work often compares different (groups of) individuals, making it difficult to separate appearance effects from identity differences. We introduce StylisticBias, a controlled benchmark for evaluating attribute-level social bias in MLLMs. We generate 500 photorealistic base faces and create about 50 single-attribute variations per face, producing about 25K images. This design keeps identity fixed and changes one visual attribute at a time. It lets us measure how specific cues shift model judgments. We evaluate six MLLMs across 25 binary social judgment scenarios. We find that age and body type dominate identity-level effects, while fashion style and other visual cues drive the largest attribute-level shifts. We further find that about 15 attributes account for nearly 80\% of the total variation, showing that bias is concentrated in a small set of visual cues. Sensitivity is strongest in judgments that are semantically aligned with appearance, especially socioeconomic and style-related judgments. We release StylisticBias as a benchmark for fine-grained bias evaluation in multimodal models. Code and dataset: https://github.com/timo-cavelius/StylisticBias and https://hf.co/datasets/shaghayegh/stylistic-bias-dataset.