StylisticBias: 소수의 인간 시각적 단서가 MLLM의 대부분의 사회적 편향을 주도한다

초록

멀티모달 대규모 언어 모델(MLLM)은 개인적·사회적으로 중요한 맥락에 점점 더 많이 배치되고 있지만, 이러한 모델이 사람을 판단하는 방식을 형성하는 시각적 단서는 여전히 제대로 이해되지 않고 있다. 기존 연구는 종종 서로 다른 개인(또는 집단)을 비교하여 외모 효과와 정체성 차이를 분리하기 어렵게 만든다. 본 연구에서는 MLLM의 속성 수준 사회적 편향을 평가하기 위한 통제된 벤치마크인 StylisticBias를 소개한다. 500개의 사실적인 기준 얼굴을 생성하고, 얼굴당 약 50개의 단일 속성 변형을 만들어 약 25,000개의 이미지를 제작했다. 이 설계는 정체성을 고정하고 한 번에 하나의 시각적 속성만 변경함으로써, 특정 단서가 모델 판단을 어떻게 변화시키는지 측정할 수 있게 한다. 25개의 이항 사회적 판단 시나리오에 걸쳐 여섯 개의 MLLM을 평가했다. 연령과 체형이 정체성 수준 효과를 지배하는 반면, 패션 스타일 및 기타 시각적 단서가 가장 큰 속성 수준 변화를 유발한다는 것을 발견했다. 또한 약 15개의 속성이 전체 변동의 거의 80%를 설명하며, 편향이 소수의 시각적 단서에 집중되어 있음을 보여준다. 민감도는 외모와 의미적으로 정렬된 판단, 특히 사회경제적 및 스타일 관련 판단에서 가장 강하게 나타난다. StylisticBias를 멀티모달 모델의 세분화된 편향 평가를 위한 벤치마크로 공개한다. 코드 및 데이터셋: https://github.com/timo-cavelius/StylisticBias 및 https://hf.co/datasets/shaghayegh/stylistic-bias-dataset.

English

Multimodal large language models (MLLMs) are increasingly deployed in personally and societally consequential settings, yet the visual cues that shape how these models judge people remain poorly understood. Prior work often compares different (groups of) individuals, making it difficult to separate appearance effects from identity differences. We introduce StylisticBias, a controlled benchmark for evaluating attribute-level social bias in MLLMs. We generate 500 photorealistic base faces and create about 50 single-attribute variations per face, producing about 25K images. This design keeps identity fixed and changes one visual attribute at a time. It lets us measure how specific cues shift model judgments. We evaluate six MLLMs across 25 binary social judgment scenarios. We find that age and body type dominate identity-level effects, while fashion style and other visual cues drive the largest attribute-level shifts. We further find that about 15 attributes account for nearly 80\% of the total variation, showing that bias is concentrated in a small set of visual cues. Sensitivity is strongest in judgments that are semantically aligned with appearance, especially socioeconomic and style-related judgments. We release StylisticBias as a benchmark for fine-grained bias evaluation in multimodal models. Code and dataset: https://github.com/timo-cavelius/StylisticBias and https://hf.co/datasets/shaghayegh/stylistic-bias-dataset.