BiasFreeBench: un punto de referencia para mitigar el sesgo en las respuestas de modelos de lenguaje de gran escala

BiasFreeBench: a Benchmark for Mitigating Bias in Large Language Model Responses

September 30, 2025

Autores: Xin Xu, Xunzhi He, Churan Zhi, Ruizhe Chen, Julian McAuley, Zexue He

cs.AI

Resumen

Los estudios existentes sobre métodos de mitigación de sesgos en modelos de lenguaje de gran escala (LLMs) utilizan diversas líneas base y métricas para evaluar el desempeño en la eliminación de sesgos, lo que genera comparaciones inconsistentes entre ellos. Además, sus evaluaciones se basan principalmente en la comparación entre las probabilidades de contextos sesgados y no sesgados generados por los LLMs, lo que ignora la brecha entre dichas evaluaciones y los casos de uso reales, donde los usuarios interactúan con los LLMs leyendo las respuestas del modelo y esperan resultados justos y seguros en lugar de probabilidades generadas por los LLMs. Para permitir una evaluación consistente entre los métodos de mitigación de sesgos y cerrar esta brecha, presentamos BiasFreeBench, un punto de referencia empírico que compara de manera integral ocho técnicas principales de mitigación de sesgos (que cubren cuatro métodos basados en *prompting* y cuatro basados en entrenamiento) en dos escenarios de prueba (preguntas y respuestas de opción múltiple y preguntas y respuestas abiertas de múltiples turnos), reorganizando conjuntos de datos existentes en un entorno unificado de consulta-respuesta. Además, introducimos una métrica a nivel de respuesta, el *Bias-Free Score*, para medir el grado en que las respuestas de los LLMs son justas, seguras y antiestereotípicas. Los desempeños en la eliminación de sesgos se comparan y analizan sistemáticamente en dimensiones clave: el paradigma de *prompting* frente al entrenamiento, el tamaño del modelo y la generalización de diferentes estrategias de entrenamiento a tipos de sesgos no vistos. Publicaremos nuestro punto de referencia con el objetivo de establecer un entorno de prueba unificado para la investigación en mitigación de sesgos.

English

Existing studies on bias mitigation methods for large language models (LLMs) use diverse baselines and metrics to evaluate debiasing performance, leading to inconsistent comparisons among them. Moreover, their evaluations are mostly based on the comparison between LLMs' probabilities of biased and unbiased contexts, which ignores the gap between such evaluations and real-world use cases where users interact with LLMs by reading model responses and expect fair and safe outputs rather than LLMs' probabilities. To enable consistent evaluation across debiasing methods and bridge this gap, we introduce BiasFreeBench, an empirical benchmark that comprehensively compares eight mainstream bias mitigation techniques (covering four prompting-based and four training-based methods) on two test scenarios (multi-choice QA and open-ended multi-turn QA) by reorganizing existing datasets into a unified query-response setting. We further introduce a response-level metric, Bias-Free Score, to measure the extent to which LLM responses are fair, safe, and anti-stereotypical. Debiasing performances are systematically compared and analyzed across key dimensions: the prompting vs. training paradigm, model size, and generalization of different training strategies to unseen bias types. We will publicly release our benchmark, aiming to establish a unified testbed for bias mitigation research.