スタイルバイアス：マルチモーダル大規模言語モデルにおける社会的バイアスの大部分は少数の人間の視覚的手がかりによって引き起こされる

要旨

マルチモーダル大規模言語モデル（MLLM）は、個人や社会に重大な影響を与える状況での利用が増加しているが、これらのモデルが人々をどのように判断するかを形成する視覚的手がかりについては、いまだ十分に理解されていない。従来の研究では、異なる（集団の）個人を比較することが多く、外見の影響と個人差を分離することが困難であった。本研究では、MLLMにおける属性レベルの社会的バイアスを評価するための制御されたベンチマークであるStylisticBiasを導入する。500枚のフォトリアリスティックな基本顔を生成し、各顔に対して約50の単一属性バリエーションを作成し、合計約25,000枚の画像を用意した。この設計により、同一人物の身元を固定し、一度に一つの視覚的属性のみを変化させることで、特定の手がかりがモデルの判断をどのように変えるかを測定できる。6つのMLLMを対象に、25の二値社会的判断シナリオで評価を行った。その結果、年齢と体型が個人レベルの効果において支配的である一方、ファッションスタイルやその他の視覚的手がかりが最大の属性レベルの変動を引き起こすことが明らかになった。さらに、約15の属性が全変動の約80％を占めており、バイアスが少数の視覚的手がかりに集中していることが示された。感度が最も高いのは、外見と意味的に整合した判断、特に社会経済的およびスタイル関連の判断であった。StylisticBiasを、マルチモーダルモデルにおける詳細なバイアス評価のためのベンチマークとして公開する。コードとデータセット：https://github.com/timo-cavelius/StylisticBias および https://hf.co/datasets/shaghayegh/stylistic-bias-dataset。

English

Multimodal large language models (MLLMs) are increasingly deployed in personally and societally consequential settings, yet the visual cues that shape how these models judge people remain poorly understood. Prior work often compares different (groups of) individuals, making it difficult to separate appearance effects from identity differences. We introduce StylisticBias, a controlled benchmark for evaluating attribute-level social bias in MLLMs. We generate 500 photorealistic base faces and create about 50 single-attribute variations per face, producing about 25K images. This design keeps identity fixed and changes one visual attribute at a time. It lets us measure how specific cues shift model judgments. We evaluate six MLLMs across 25 binary social judgment scenarios. We find that age and body type dominate identity-level effects, while fashion style and other visual cues drive the largest attribute-level shifts. We further find that about 15 attributes account for nearly 80\% of the total variation, showing that bias is concentrated in a small set of visual cues. Sensitivity is strongest in judgments that are semantically aligned with appearance, especially socioeconomic and style-related judgments. We release StylisticBias as a benchmark for fine-grained bias evaluation in multimodal models. Code and dataset: https://github.com/timo-cavelius/StylisticBias and https://hf.co/datasets/shaghayegh/stylistic-bias-dataset.