BiasFreeBench: een Benchmark voor het Verminderen van Bias in Reacties van Grote Taalmodellen

BiasFreeBench: a Benchmark for Mitigating Bias in Large Language Model Responses

September 30, 2025

Auteurs: Xin Xu, Xunzhi He, Churan Zhi, Ruizhe Chen, Julian McAuley, Zexue He

cs.AI

Samenvatting

Bestaande onderzoeken naar methoden voor het verminderen van bias in grote taalmodellen (LLMs) gebruiken diverse basislijnen en metrieken om de prestaties van debiasing te evalueren, wat leidt tot inconsistente vergelijkingen tussen deze methoden. Bovendien zijn hun evaluaties voornamelijk gebaseerd op de vergelijking tussen de waarschijnlijkheden van bevooroordeelde en onbevooroordeelde contexten in LLMs, wat de kloof negeert tussen dergelijke evaluaties en real-world gebruiksscenario's waarin gebruikers interacteren met LLMs door modelresponsen te lezen en eerlijke en veilige uitvoer verwachten in plaats van de waarschijnlijkheden van LLMs. Om consistente evaluatie over debiasingmethoden mogelijk te maken en deze kloof te overbruggen, introduceren we BiasFreeBench, een empirische benchmark die acht mainstream bias-mitigatietechnieken (waaronder vier prompt-gebaseerde en vier training-gebaseerde methoden) uitgebreid vergelijkt in twee testsituaties (meerkeuzevragen en open-eindige multi-turn vragen) door bestaande datasets te herstructureren in een uniforme query-responsopzet. We introduceren verder een responsniveau-meting, de Bias-Free Score, om te meten in hoeverre LLM-responsen eerlijk, veilig en anti-stereotypisch zijn. Debiasingprestaties worden systematisch vergeleken en geanalyseerd over belangrijke dimensies: het prompten versus het trainen van paradigma's, modelgrootte, en de generalisatie van verschillende trainingsstrategieën naar onbekende biassoorten. We zullen onze benchmark openbaar beschikbaar maken, met als doel een uniforme testomgeving te creëren voor onderzoek naar bias-mitigatie.

English

Existing studies on bias mitigation methods for large language models (LLMs) use diverse baselines and metrics to evaluate debiasing performance, leading to inconsistent comparisons among them. Moreover, their evaluations are mostly based on the comparison between LLMs' probabilities of biased and unbiased contexts, which ignores the gap between such evaluations and real-world use cases where users interact with LLMs by reading model responses and expect fair and safe outputs rather than LLMs' probabilities. To enable consistent evaluation across debiasing methods and bridge this gap, we introduce BiasFreeBench, an empirical benchmark that comprehensively compares eight mainstream bias mitigation techniques (covering four prompting-based and four training-based methods) on two test scenarios (multi-choice QA and open-ended multi-turn QA) by reorganizing existing datasets into a unified query-response setting. We further introduce a response-level metric, Bias-Free Score, to measure the extent to which LLM responses are fair, safe, and anti-stereotypical. Debiasing performances are systematically compared and analyzed across key dimensions: the prompting vs. training paradigm, model size, and generalization of different training strategies to unseen bias types. We will publicly release our benchmark, aiming to establish a unified testbed for bias mitigation research.