은닉 상태의 상대적 표현을 통한 LLM의 참조 기반 편향 탐지

초록

기존 편향 감사 방법은 일반적으로 모델 출력에 의존하여 값비싼 벤치마크나 판정 모델을 필요로 하며, 생성된 텍스트에는 결코 나타나지 않는 내부 변화를 놓칠 가능성이 있다. 우리는 관련 모델 변형, 예를 들어 미세조정 전후에 걸쳐 은닉 상태 표현의 편향을 감사하는 참조 기반 방법을 제안한다. 미세조정은 표현 기하학을 재구성하므로 절대 은닉 상태는 직접 비교할 수 없다. 따라서 우리는 각 문장을 고정된 앵커 문장 집합에 대한 유사도로 인코딩하여 공유 비교 공간에서 상대 표현을 산출한다. 그곳에서 우리는 대상 집단이 긍정 및 부정 속성과의 연관성에서 어떻게 이동하는지를 측정하며, 이 양을 표현 편향 이동 ΔB라고 부른다. 세 모델 계열과 WildGuardMix, DecodingTrust, ToxiGen 벤치마크 전반에서 ΔB는 우리가 테스트한 18개 설정 중 15개에서 출력 수준 편향 변화와 상관관계를 보였고, 전체 미세조정에서는 |r| = 0.84 (p < 0.001)에 도달했으며 매개변수 효율적 적응에서는 더 모델 의존적이 되었다. ΔB에 임계값을 적용하면 편향이 증가한 체크포인트를 ROC AUC 0.65에서 0.99 사이로 탐지하며, WildGuardMix와 DecodingTrust에서는 세 계열 모두에 대해 SEAT 기반 기준선보다 이를 더 잘 분리한다. ΔB는 또한 앵커 집합, 속성 집합, 대상 템플릿의 변경에도 안정적이다. 우리의 방법은 과제 특화 평가 데이터를 필요로 하지 않으며 약 3분 만에 모델을 감사하여, 여기서 고려한 출력 수준 벤치마크보다 3–50배 적은 연산을 사용한다. 우리는 이를 출력 기반 감사를 대체하는 것이 아니라 보완하는 것으로 본다.

English

Existing bias auditing methods typically rely on model outputs, requiring costly benchmarks or judge models and potentially missing internal shifts that never appear in generated text. We propose a reference-based method that audits bias in hidden-state representations across related model variants, for example before and after fine-tuning. Because fine-tuning reshapes representation geometry, absolute hidden states are not directly comparable, so we encode each sentence by its similarities to a fixed set of anchor sentences, yielding relative representations in a shared comparison space. There we measure how target groups shift in their association with positive and negative attributes, a quantity we call the Representational Bias Shift ΔB. Across three model families and the WildGuardMix, DecodingTrust and ToxiGen benchmarks, ΔB correlates with output-level bias change in 15 of the 18 settings we test, reaching |r| = 0.84 (p < 0.001) under full fine-tuning and becoming more model-dependent under parameter-efficient adaptation. Thresholding ΔB detects checkpoints whose bias increased with ROC AUC between 0.65 and 0.99, and on WildGuardMix and DecodingTrust it separates them better than a SEAT-based baseline for all three families. ΔB is also stable under changes to the anchor set, attribute sets and target templates. Our method requires no task-specific evaluation data and audits a model in about three minutes, using 3-50times less compute than the output-level benchmarks considered here. We view it as complementary to output-based auditing rather than a replacement for it.