手動テストセットなしでバイアスを評価する：LLMのための概念表現の視点

Evaluate Bias without Manual Test Sets: A Concept Representation Perspective for LLMs

May 21, 2025

著者: Lang Gao, Kaiyang Wan, Wei Liu, Chenxi Wang, Zirui Song, Zixiang Xu, Yanbo Wang, Veselin Stoyanov, Xiuying Chen

cs.AI

要旨

大規模言語モデル（LLM）におけるバイアスは、その信頼性と公平性を著しく損なう。本研究では、モデルの概念空間内の2つの参照概念（例えば、感情の極性「ポジティブ」と「ネガティブ」）が、第三のターゲット概念（例えば、レビューの側面）と非対称的に相関している場合に、モデルが意図しないバイアスを示すという一般的なバイアス形態に焦点を当てる。例えば、「食事」の理解は特定の感情に偏るべきではない。既存のバイアス評価手法は、異なる社会グループに対してラベル付きデータを構築し、それらに対するモデルの応答を測定することでLLMの行動の違いを評価するが、このプロセスには多大な人的労力を要し、限られた社会概念しか捉えることができない。これらの制限を克服するため、我々はモデルのベクトル空間の構造に基づく、テストセット不要のバイアス分析フレームワーク「BiasLens」を提案する。BiasLensは、Concept Activation Vectors（CAVs）とSparse Autoencoders（SAEs）を組み合わせて解釈可能な概念表現を抽出し、ターゲット概念と各参照概念間の表現的類似性の変動を測定することでバイアスを定量化する。ラベル付きデータがなくても、BiasLensは従来のバイアス評価指標と高い一致を示す（Spearman相関係数 r > 0.85）。さらに、BiasLensは既存の手法では検出が難しいバイアス形態を明らかにする。例えば、シミュレートされた臨床シナリオでは、患者の保険状況がLLMに偏った診断評価を生成させる原因となる。全体として、BiasLensはスケーラブルで解釈可能かつ効率的なバイアス発見のパラダイムを提供し、LLMの公平性と透明性の向上への道を開く。

English

Bias in Large Language Models (LLMs) significantly undermines their reliability and fairness. We focus on a common form of bias: when two reference concepts in the model's concept space, such as sentiment polarities (e.g., "positive" and "negative"), are asymmetrically correlated with a third, target concept, such as a reviewing aspect, the model exhibits unintended bias. For instance, the understanding of "food" should not skew toward any particular sentiment. Existing bias evaluation methods assess behavioral differences of LLMs by constructing labeled data for different social groups and measuring model responses across them, a process that requires substantial human effort and captures only a limited set of social concepts. To overcome these limitations, we propose BiasLens, a test-set-free bias analysis framework based on the structure of the model's vector space. BiasLens combines Concept Activation Vectors (CAVs) with Sparse Autoencoders (SAEs) to extract interpretable concept representations, and quantifies bias by measuring the variation in representational similarity between the target concept and each of the reference concepts. Even without labeled data, BiasLens shows strong agreement with traditional bias evaluation metrics (Spearman correlation r > 0.85). Moreover, BiasLens reveals forms of bias that are difficult to detect using existing methods. For example, in simulated clinical scenarios, a patient's insurance status can cause the LLM to produce biased diagnostic assessments. Overall, BiasLens offers a scalable, interpretable, and efficient paradigm for bias discovery, paving the way for improving fairness and transparency in LLMs.