隠れ状態の相対表現によるLLMの参照ベースのバイアス検出

要旨

既存のバイアス監査手法は通常、モデル出力に依存しており、高コストなベンチマークや判定モデルを必要とし、生成テキストには現れない内部変化を見逃す可能性がある。我々は、関連するモデル変種間、例えば微調整前後で、隠れ状態表現のバイアスを監査する参照ベース手法を提案する。微調整は表現幾何を変形するため、絶対的な隠れ状態は直接比較できない。そこで、各文を固定されたアンカー文集合との類似度によって符号化し、共有比較空間における相対表現を得る。そこで、対象グループが肯定的属性および否定的属性との関連をどのように変化させるかを測定する。この量を表現バイアスシフト ΔB と呼ぶ。3つのモデルファミリーと WildGuardMix、DecodingTrust、ToxiGen ベンチマークにおいて、ΔB は我々が検証した18設定中15設定で出力レベルのバイアス変化と相関し、完全微調整では |r| = 0.84 (p < 0.001) に達し、パラメータ効率適応ではよりモデル依存的になる。ΔB の閾値処理により、バイアスが増加したチェックポイントを ROC AUC 0.65～0.99 で検出でき、WildGuardMix と DecodingTrust では、3ファミリーすべてについて SEAT ベースのベースラインよりもよく分離する。ΔB はまた、アンカー集合、属性集合、対象テンプレートの変更に対して安定である。我々の手法はタスク固有の評価データを必要とせず、約3分でモデルを監査し、ここで検討した出力レベルベンチマークより3～50倍少ない計算量で済む。我々はこれを、出力ベース監査の代替ではなく、補完的なものと見なす。

English

Existing bias auditing methods typically rely on model outputs, requiring costly benchmarks or judge models and potentially missing internal shifts that never appear in generated text. We propose a reference-based method that audits bias in hidden-state representations across related model variants, for example before and after fine-tuning. Because fine-tuning reshapes representation geometry, absolute hidden states are not directly comparable, so we encode each sentence by its similarities to a fixed set of anchor sentences, yielding relative representations in a shared comparison space. There we measure how target groups shift in their association with positive and negative attributes, a quantity we call the Representational Bias Shift ΔB. Across three model families and the WildGuardMix, DecodingTrust and ToxiGen benchmarks, ΔB correlates with output-level bias change in 15 of the 18 settings we test, reaching |r| = 0.84 (p < 0.001) under full fine-tuning and becoming more model-dependent under parameter-efficient adaptation. Thresholding ΔB detects checkpoints whose bias increased with ROC AUC between 0.65 and 0.99, and on WildGuardMix and DecodingTrust it separates them better than a SEAT-based baseline for all three families. ΔB is also stable under changes to the anchor set, attribute sets and target templates. Our method requires no task-specific evaluation data and audits a model in about three minutes, using 3-50times less compute than the output-level benchmarks considered here. We view it as complementary to output-based auditing rather than a replacement for it.