BiasGym: Sesgos Fantásticos y Cómo Encontrarlos (y Eliminarlos)

BiasGym: Fantastic Biases and How to Find (and Remove) Them

August 12, 2025

Autores: Sekh Mainul Islam, Nadav Borenstein, Siddhesh Milind Pawar, Haeun Yu, Arnav Arora, Isabelle Augenstein

cs.AI

Resumen

Comprender los sesgos y estereotipos codificados en los pesos de los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) es crucial para desarrollar estrategias efectivas de mitigación. El comportamiento sesgado suele ser sutil y no trivial de aislar, incluso cuando se provoca deliberadamente, lo que hace que el análisis sistemático y la eliminación de sesgos sean particularmente desafiantes. Para abordar esto, presentamos BiasGym, un marco simple, rentable y generalizable para inyectar, analizar y mitigar de manera confiable asociaciones conceptuales dentro de los LLMs. BiasGym consta de dos componentes: BiasInject, que inyecta sesgos específicos en el modelo mediante ajuste fino basado en tokens mientras mantiene el modelo congelado, y BiasScope, que aprovecha estas señales inyectadas para identificar y redirigir los componentes responsables del comportamiento sesgado. Nuestro método permite la elicitación consistente de sesgos para el análisis mecanicista, apoya la eliminación de sesgos específicos sin degradar el rendimiento en tareas posteriores, y se generaliza a sesgos no vistos durante el entrenamiento. Demostramos la efectividad de BiasGym en la reducción de estereotipos del mundo real (por ejemplo, que las personas de un país sean "conductores imprudentes") y en la exploración de asociaciones ficticias (por ejemplo, que las personas de un país tengan "piel azul"), mostrando su utilidad tanto para intervenciones de seguridad como para investigación en interpretabilidad.

English

Understanding biases and stereotypes encoded in the weights of Large Language Models (LLMs) is crucial for developing effective mitigation strategies. Biased behaviour is often subtle and non-trivial to isolate, even when deliberately elicited, making systematic analysis and debiasing particularly challenging. To address this, we introduce BiasGym, a simple, cost-effective, and generalizable framework for reliably injecting, analyzing, and mitigating conceptual associations within LLMs. BiasGym consists of two components: BiasInject, which injects specific biases into the model via token-based fine-tuning while keeping the model frozen, and BiasScope, which leverages these injected signals to identify and steer the components responsible for biased behavior. Our method enables consistent bias elicitation for mechanistic analysis, supports targeted debiasing without degrading performance on downstream tasks, and generalizes to biases unseen during training. We demonstrate the effectiveness of BiasGym in reducing real-world stereotypes (e.g., people from a country being `reckless drivers') and in probing fictional associations (e.g., people from a country having `blue skin'), showing its utility for both safety interventions and interpretability research.