Debias-SparseGPT: 대규모 언어 모델을 위한 편향 인식 가지치기

초록

모델 압축 기법인 프루닝과 양자화는 대규모 언어 모델(LLM)의 효율적인 배포와 가속화를 가능하게 한다. 그러나 최근 연구에 따르면 SparseGPT와 같은 가중치 희소화 방법은 모델 내 기존 편향을 증폭시킬 수 있으며, 프롬프트의 페르소나 단서에 따라 출력이 크게 달라질 수 있다. 본 논문에서는 인구통계학적으로 대조되는 입력에 대해 정의된 2차 항을 활용한 표현적 편향 제거를 통합한 학습 후 프루닝 방법인 Debias-SparseGPT를 소개한다. 우리는 다양한 생성형 LLM에 걸쳐 제안 방법의 경험적 검증을 수행한다. 다양한 모델과 희소성 수준(25%, 50%, 구조적 2:4 희소성) 전반에 걸쳐, Debias-SparseGPT는 모델의 퍼플렉서티와 제로샷 정확도를 유지하면서 SparseGPT 대비 프루닝 유발 편향을 일관되게 감소시킨다. 모델 품질을 가장 심각하게 저하시키는 가장 제한적인 2:4 구조적 희소성 패턴 하에서는, 긴 문맥과 내용이 풍부한 예제로 보정 세트를 확장함으로써 다운스트림 성능과 공정성을 모두 추가로 개선할 수 있다. 전반적으로 Debias-SparseGPT는 희소 모델의 계산 효율성을 유지하면서 편향-성능 트레이드오프를 개선한다.

English

Model compression techniques such as pruning and quantization facilitate the efficient deployment and acceleration of Large Language Models (LLMs). However, recent studies show that weight sparsification methods, such as SparseGPT, can amplify existing biases in models, with outputs varying significantly depending on persona cues in the prompt. In this paper, we introduce Debias-SparseGPT, a post-training pruning method incorporating representational debiasing using a second-order term defined over demographically contrasting inputs. We perform empirical validation of our method over a wide range of generative LLMs. Across models and sparsity regimes (25%, 50%, and structured 2:4 sparsity), Debias-SparseGPT consistently reduces pruning-induced bias compared to SparseGPT while preserving model perplexity and zero-shot accuracy. Under the most restrictive 2:4 structured sparsity pattern, which most aggressively degrades model quality, augmenting the calibration set with long-context, content-rich examples further improves both downstream performance and fairness. Overall, Debias-SparseGPT advances the bias-performance trade-off while preserving the computational efficiency of sparse models.