公平性プルーニング：GLU-MLP層における人口統計バイアスの差分活性による特定

要旨

本研究は、大規模言語モデル（LLM）における人口統計的バイアスの管理および将来の緩和を目的として設計された、軽量な構造的介入手法であるFairness Pruningを提示する。本手法の基礎的実証検証として、本研究は因果的バイアスの位置特定に焦点を当てる。本手法は、最小対比プロンプトペアと推論時活性化キャプチャを用いて、GLUアーキテクチャにおける人口統計的属性の処理時に異なる反応を示すニューロンを特定し、down_proj入力における信号を評価する。実証評価は、最大30億パラメータのモデル（Llama-3.2ファミリーおよびSalamandra-2B）を対象に実施し、標準化されたベンチマーク評価と質的テキスト生成実験を組み合わせた。結果は、特定されたニューロンのゼロ化が、関連する人口統計変数に対するモデルの応答を変化させることを示している。しかし、平坦な緩和効果を生み出すのではなく、本介入は双方向的バイアス不安定化を引き起こす。すなわち、BiasScoreが符号なしであるため、候補セットにはステレオタイプを強化するニューロンとそれに反対するニューロンが混在し、全体のバイアスに対する正味の効果はどちらの符号が優勢であるかに依存する。本介入は極めて外科的であり、Llama-3.2-1Bにおいて最大40個のニューロン（全MLP幅の0.031%未満）をゼロ化するだけで、推論および一般知識能力において平均99.49%の保持率を達成する。これらの知見は、人口統計的バイアスの処理とモデルの能力が分離可能な回路で動作することを実証的に確認し、盲目的なゼロ化から方向的行動変調への移行の方法論的基盤を確立するものである。

English

This work presents Fairness Pruning, a lightweight structural intervention method designed for the management and future mitigation of demographic bias in large language models (LLMs). As a foundational empirical validation of this method, this work focuses on causal bias localization. Using minimally contrastive prompt pairs and inference-time activation capture, the method identifies neurons that react differentially when processing demographic attributes in GLU architectures, evaluating the signal at the down_proj input. Empirical evaluation was conducted on models of up to 3 billion parameters (Llama-3.2 family and Salamandra-2B), combining standardized benchmark evaluation with qualitative text generation experiments. Results demonstrate that zeroing the identified neurons alters how the model responds to associated demographic variables. However, rather than producing flat mitigation, the intervention causes bidirectional bias destabilization: because BiasScore is unsigned, candidate sets mix neurons that push toward and against the stereotype, and the net effect on aggregate bias depends on which sign dominates. The intervention is extremely surgical: zeroing at most 40 neurons in Llama-3.2-1B (less than 0.031% of total MLP width) achieves a mean retention of 99.49% in reasoning and general knowledge capabilities. These findings empirically confirm that demographic bias processing and model capabilities operate on dissociable circuits, establishing the methodological foundations for transitioning from blind zeroing toward directional behavior modulation.