Debias-SparseGPT：大規模言語モデルのためのバイアスを考慮した刈り込み

要旨

モデル圧縮技術（枝刈りや量子化など）は、大規模言語モデル（LLM）の効率的な導入と高速化を促進する。しかし、最近の研究では、SparseGPTなどの重みスパース化手法が、モデル内の既存バイアスを増幅し、プロンプト中のペルソナを示す手がかりに応じて出力が大きく変動することが示されている。本稿では、人口統計学的に対照的な入力に対して定義される二次項を用いた表現レベルのデバイアシングを組み込んだ、訓練後枝刈り手法であるDebias-SparseGPTを提案する。本手法を幅広い生成系LLMに対して実験的に検証する。各種モデルおよびスパース性設定（25％、50％、構造化2:4スパース性）において、Debias-SparseGPTは、SparseGPTと比較して枝刈りに起因するバイアスを一貫して低減しつつ、モデルのパープレキシティとゼロショット精度を維持する。最も制約が厳しくモデル品質を大きく損なう2:4構造化スパース性パターンでは、較正セットを長文脈かつ内容豊富な事例で拡張することで、下流タスクの性能と公平性がさらに向上する。全体として、Debias-SparseGPTはスパースモデルの計算効率を保ちながら、バイアスと性能のトレードオフを改善する。

English

Model compression techniques such as pruning and quantization facilitate the efficient deployment and acceleration of Large Language Models (LLMs). However, recent studies show that weight sparsification methods, such as SparseGPT, can amplify existing biases in models, with outputs varying significantly depending on persona cues in the prompt. In this paper, we introduce Debias-SparseGPT, a post-training pruning method incorporating representational debiasing using a second-order term defined over demographically contrasting inputs. We perform empirical validation of our method over a wide range of generative LLMs. Across models and sparsity regimes (25%, 50%, and structured 2:4 sparsity), Debias-SparseGPT consistently reduces pruning-induced bias compared to SparseGPT while preserving model perplexity and zero-shot accuracy. Under the most restrictive 2:4 structured sparsity pattern, which most aggressively degrades model quality, augmenting the calibration set with long-context, content-rich examples further improves both downstream performance and fairness. Overall, Debias-SparseGPT advances the bias-performance trade-off while preserving the computational efficiency of sparse models.