BiasGym: Фантастические смещения и как их обнаружить (и устранить)

BiasGym: Fantastic Biases and How to Find (and Remove) Them

August 12, 2025

Авторы: Sekh Mainul Islam, Nadav Borenstein, Siddhesh Milind Pawar, Haeun Yu, Arnav Arora, Isabelle Augenstein

cs.AI

Аннотация

Понимание предубеждений и стереотипов, закодированных в весах крупных языковых моделей (LLM), имеет решающее значение для разработки эффективных стратегий их устранения. Предвзятое поведение часто бывает тонким и сложным для изоляции, даже когда оно намеренно вызывается, что делает систематический анализ и устранение предубеждений особенно сложными. Для решения этой проблемы мы представляем BiasGym — простую, экономически эффективную и универсальную структуру для надежного внедрения, анализа и смягчения концептуальных ассоциаций в LLM. BiasGym состоит из двух компонентов: BiasInject, который внедряет конкретные предубеждения в модель через тонкую настройку на основе токенов, сохраняя модель замороженной, и BiasScope, который использует эти внедренные сигналы для идентификации и управления компонентами, ответственными за предвзятое поведение. Наш метод обеспечивает последовательное выявление предубеждений для механистического анализа, поддерживает целенаправленное устранение предубеждений без ухудшения производительности на последующих задачах и обобщается на предубеждения, не встречавшиеся во время обучения. Мы демонстрируем эффективность BiasGym в снижении реальных стереотипов (например, что люди из определенной страны являются «безрассудными водителями») и в исследовании вымышленных ассоциаций (например, что люди из определенной страны имеют «синюю кожу»), показывая его полезность как для обеспечения безопасности, так и для исследований интерпретируемости.

English

Understanding biases and stereotypes encoded in the weights of Large Language Models (LLMs) is crucial for developing effective mitigation strategies. Biased behaviour is often subtle and non-trivial to isolate, even when deliberately elicited, making systematic analysis and debiasing particularly challenging. To address this, we introduce BiasGym, a simple, cost-effective, and generalizable framework for reliably injecting, analyzing, and mitigating conceptual associations within LLMs. BiasGym consists of two components: BiasInject, which injects specific biases into the model via token-based fine-tuning while keeping the model frozen, and BiasScope, which leverages these injected signals to identify and steer the components responsible for biased behavior. Our method enables consistent bias elicitation for mechanistic analysis, supports targeted debiasing without degrading performance on downstream tasks, and generalizes to biases unseen during training. We demonstrate the effectiveness of BiasGym in reducing real-world stereotypes (e.g., people from a country being `reckless drivers') and in probing fictional associations (e.g., people from a country having `blue skin'), showing its utility for both safety interventions and interpretability research.