공정성 프루닝: 차등 활성화를 통한 GLU-MLP 층의 인구통계학적 편향 위치 파악

초록

본 연구는 대규모 언어 모델(LLM)에서 인구통계학적 편향의 관리 및 향후 완화를 위해 설계된 경량 구조적 개입 방법인 Fairness Pruning을 제시한다. 이 방법의 기초 실증 검증으로서, 본 연구는 인과적 편향 위치 규명에 초점을 맞춘다. 최소 대조 프롬프트 쌍과 추론 시 활성화 포착을 사용하여, 이 방법은 GLU 구조에서 인구통계학적 속성을 처리할 때 상이하게 반응하는 뉴런을 식별하며, down_proj 입력에서 신호를 평가한다. 최대 30억 매개변수 규모의 모델(Llama-3.2 계열 및 Salamandra-2B)에 대해 실증 평가를 수행했으며, 표준화된 벤치마크 평가와 정성적 텍스트 생성 실험을 결합했다. 결과는 식별된 뉴런을 0으로 설정하면 모델이 연관된 인구통계학적 변수에 응답하는 방식이 변경됨을 보여준다. 그러나 이 개입은 일률적인 완화를 산출하기보다는 양방향 편향 불안정화를 유발한다. BiasScore가 부호를 갖지 않으므로, 후보 집합은 고정관념을 지지하는 방향과 반대하는 방향의 뉴런을 함께 포함하게 되며, 전체 편향에 대한 순 효과는 어느 방향의 부호가 우세한지에 따라 달라진다. 이 개입은 매우 정밀하다. Llama-3.2-1B에서 최대 40개의 뉴런(전체 MLP 너비의 0.031% 미만)을 0으로 설정하는 것만으로 추론 및 일반 지식 능력에서 평균 99.49%의 유지율을 달성한다. 이러한 결과는 인구통계학적 편향 처리와 모델 능력이 분리 가능한 회로에서 작동함을 실증적으로 확인하며, 맹목적 제로화에서 방향적 행동 변조로 전환하기 위한 방법론적 기반을 확립한다.

English

This work presents Fairness Pruning, a lightweight structural intervention method designed for the management and future mitigation of demographic bias in large language models (LLMs). As a foundational empirical validation of this method, this work focuses on causal bias localization. Using minimally contrastive prompt pairs and inference-time activation capture, the method identifies neurons that react differentially when processing demographic attributes in GLU architectures, evaluating the signal at the down_proj input. Empirical evaluation was conducted on models of up to 3 billion parameters (Llama-3.2 family and Salamandra-2B), combining standardized benchmark evaluation with qualitative text generation experiments. Results demonstrate that zeroing the identified neurons alters how the model responds to associated demographic variables. However, rather than producing flat mitigation, the intervention causes bidirectional bias destabilization: because BiasScore is unsigned, candidate sets mix neurons that push toward and against the stereotype, and the net effect on aggregate bias depends on which sign dominates. The intervention is extremely surgical: zeroing at most 40 neurons in Llama-3.2-1B (less than 0.031% of total MLP width) achieves a mean retention of 99.49% in reasoning and general knowledge capabilities. These findings empirically confirm that demographic bias processing and model capabilities operate on dissociable circuits, establishing the methodological foundations for transitioning from blind zeroing toward directional behavior modulation.