GGSS: 測地線ゲート式球面操縦による生成型視覚言語モデルの推論時バイアス除去

要旨

生成的視覚言語モデル（VLM）は、人間中心の環境でますます利用されているが、知覚される人種や性別などの制御された属性のみが異なる画像であっても、人口統計学的に偏った出力を生成する可能性がある。しかし、既存の推論時バイアス除去手法は、主に静的埋め込みやCLIP類似モデル向けに設計されており、生成的VLMには対応していない。我々は、単位超球面上で反事実的バイアス部分空間を発見し、測地線弧に沿って視覚トークンを操縦し、適応ゲートを用いてより強い人口統計学的信号を担うトークンに補正を集中させる、ノルム保存型介入であるGGSS（Geodesic-Gated Spherical Steering、測地線ゲート付き球面ステアリング）を提案する。我々は、4つの生成的VLMを、10の適応させた推論時バイアス除去ベースラインおよびプロンプトベースの緩和手法と、カテゴリ別・ペア別・職業と性別のバイアステストにわたる単一動作点プロトコルの下で評価し、同時に一般的な視覚言語能力も測定した。GGSSは、4つのモデルすべてで平均バイアスが最も低く、4つのバックボーンのうち3つでは対応のある並べ替え検定において有意であり、MMStar精度は非操縦ベースラインから±0.6パーセンテージポイント以内を維持した。コードはhttps://github.com/dukesun99/GGSSで公開されている。

English

Generative vision-language models (VLMs) are increasingly used in human-centered settings, yet they can produce demographically biased outputs even when images differ only in controlled attributes such as perceived race or gender. However, existing inference-time debiasers were largely designed for static embeddings or CLIP-like models rather than generative VLMs. We propose GGSS---Geodesic-Gated Spherical Steering---a norm-preserving intervention that discovers a counterfactual bias subspace on the unit hypersphere, steers visual tokens along geodesic arcs, and uses an adaptive gate to focus correction on tokens that carry stronger demographic signal. We evaluate four generative VLMs against ten adapted inference-time debiasing baselines and prompt-based mitigation under a single operating-point protocol across categorical, pairwise, and occupation-gender bias tests, while also measuring general visual-language capability. GGSS achieves the lowest average bias on all four models, significant on three of four backbones under paired permutation tests, while preserving MMStar accuracy within +/- 0.6 p.p. of the unsteered baseline. Code is available at https://github.com/dukesun99/GGSS.