GGSS: 생성형 비전-언어 모델의 추론 시점 편향 제거를 위한 측지선-게이트 구면 스티어링

초록

생성형 비전-언어 모델(VLM)은 인간 중심 환경에서 점점 더 널리 사용되고 있지만, 이미지가 인지된 인종이나 성별과 같은 통제된 속성에서만 차이가 나는 경우에도 인구통계적으로 편향된 출력을 생성할 수 있다. 그러나 기존의 추론 시점 편향 제거 기법들은 대부분 생성형 VLM보다는 정적 임베딩이나 CLIP 유사 모델을 위해 설계되었다. 우리는 노름을 보존하는 개입 방식인 GGSS(Geodesic-Gated Spherical Steering)를 제안한다. GGSS는 단위 초구에서 반사실적 편향 부분공간을 발견하고, 시각 토큰을 측지선 호를 따라 스티어링하며, 더 강한 인구통계적 신호를 지닌 토큰에 보정을 집중하기 위해 적응형 게이트를 사용한다. 우리는 단일 동작점 프로토콜 하에서 범주형, 쌍별, 직업-성별 편향 테스트에 걸쳐 4개의 생성형 VLM을 적응된 10개의 추론 시점 편향 제거 기준선 및 프롬프트 기반 완화와 비교 평가하고, 동시에 일반적인 시각-언어 능력도 측정한다. GGSS는 네 모델 모두에서 가장 낮은 평균 편향을 달성했으며, 대응 순열 검정에서 네 개의 백본 중 세 개에서 통계적으로 유의미한 결과를 보였다. 또한 스티어링하지 않은 기준선 대비 MMStar 정확도를 ±0.6퍼센트포인트(p.p.) 이내로 유지했다. 코드는 https://github.com/dukesun99/GGSS에서 확인할 수 있다.

English

Generative vision-language models (VLMs) are increasingly used in human-centered settings, yet they can produce demographically biased outputs even when images differ only in controlled attributes such as perceived race or gender. However, existing inference-time debiasers were largely designed for static embeddings or CLIP-like models rather than generative VLMs. We propose GGSS---Geodesic-Gated Spherical Steering---a norm-preserving intervention that discovers a counterfactual bias subspace on the unit hypersphere, steers visual tokens along geodesic arcs, and uses an adaptive gate to focus correction on tokens that carry stronger demographic signal. We evaluate four generative VLMs against ten adapted inference-time debiasing baselines and prompt-based mitigation under a single operating-point protocol across categorical, pairwise, and occupation-gender bias tests, while also measuring general visual-language capability. GGSS achieves the lowest average bias on all four models, significant on three of four backbones under paired permutation tests, while preserving MMStar accuracy within +/- 0.6 p.p. of the unsteered baseline. Code is available at https://github.com/dukesun99/GGSS.