BiasFreeBench: um Benchmark para Mitigar Vieses em Respostas de Modelos de Linguagem de Grande Escala

BiasFreeBench: a Benchmark for Mitigating Bias in Large Language Model Responses

September 30, 2025

Autores: Xin Xu, Xunzhi He, Churan Zhi, Ruizhe Chen, Julian McAuley, Zexue He

cs.AI

Resumo

Estudos existentes sobre métodos de mitigação de viés em modelos de linguagem de grande escala (LLMs) utilizam diversas linhas de base e métricas para avaliar o desempenho de desviesamento, resultando em comparações inconsistentes entre eles. Além disso, suas avaliações são principalmente baseadas na comparação entre as probabilidades de contextos tendenciosos e não tendenciosos gerados pelos LLMs, o que ignora a lacuna entre tais avaliações e os casos de uso do mundo real, onde os usuários interagem com os LLMs lendo as respostas do modelo e esperam saídas justas e seguras, em vez das probabilidades dos LLMs. Para permitir uma avaliação consistente entre os métodos de desviesamento e preencher essa lacuna, introduzimos o BiasFreeBench, um benchmark empírico que compara de forma abrangente oito técnicas principais de mitigação de viés (cobrindo quatro métodos baseados em prompt e quatro métodos baseados em treinamento) em dois cenários de teste (QA de múltipla escolha e QA aberta de múltiplas interações) reorganizando conjuntos de dados existentes em um cenário unificado de consulta-resposta. Além disso, introduzimos uma métrica de nível de resposta, o Bias-Free Score, para medir até que ponto as respostas dos LLMs são justas, seguras e anti-estereotipadas. Os desempenhos de desviesamento são sistematicamente comparados e analisados em dimensões-chave: o paradigma de prompt versus treinamento, o tamanho do modelo e a generalização de diferentes estratégias de treinamento para tipos de viés não vistos. Disponibilizaremos publicamente nosso benchmark, com o objetivo de estabelecer um ambiente de teste unificado para pesquisas em mitigação de viés.

English

Existing studies on bias mitigation methods for large language models (LLMs) use diverse baselines and metrics to evaluate debiasing performance, leading to inconsistent comparisons among them. Moreover, their evaluations are mostly based on the comparison between LLMs' probabilities of biased and unbiased contexts, which ignores the gap between such evaluations and real-world use cases where users interact with LLMs by reading model responses and expect fair and safe outputs rather than LLMs' probabilities. To enable consistent evaluation across debiasing methods and bridge this gap, we introduce BiasFreeBench, an empirical benchmark that comprehensively compares eight mainstream bias mitigation techniques (covering four prompting-based and four training-based methods) on two test scenarios (multi-choice QA and open-ended multi-turn QA) by reorganizing existing datasets into a unified query-response setting. We further introduce a response-level metric, Bias-Free Score, to measure the extent to which LLM responses are fair, safe, and anti-stereotypical. Debiasing performances are systematically compared and analyzed across key dimensions: the prompting vs. training paradigm, model size, and generalization of different training strategies to unseen bias types. We will publicly release our benchmark, aiming to establish a unified testbed for bias mitigation research.