BiasFreeBench: эталон для снижения предвзятости в ответах крупных языковых моделей

BiasFreeBench: a Benchmark for Mitigating Bias in Large Language Model Responses

September 30, 2025

Авторы: Xin Xu, Xunzhi He, Churan Zhi, Ruizhe Chen, Julian McAuley, Zexue He

cs.AI

Аннотация

Существующие исследования методов смягчения смещений в больших языковых моделях (LLM) используют разнообразные базовые подходы и метрики для оценки эффективности устранения смещений, что приводит к несогласованным сравнениям между ними. Более того, их оценки в основном основаны на сравнении вероятностей, которые LLM присваивают контекстам с наличием и отсутствием смещений, что игнорирует разрыв между такими оценками и реальными сценариями использования, где пользователи взаимодействуют с LLM, читая ответы моделей и ожидают справедливых и безопасных результатов, а не вероятностей, выдаваемых LLM. Для обеспечения согласованной оценки различных методов устранения смещений и преодоления этого разрыва мы представляем BiasFreeBench — эмпирический бенчмарк, который всесторонне сравнивает восемь основных методов смягчения смещений (охватывающих четыре метода на основе промптов и четыре метода на основе обучения) в двух тестовых сценариях (множественный выбор QA и открытый многократный QA), реорганизуя существующие наборы данных в единый формат запросов и ответов. Мы также вводим метрику на уровне ответов, Bias-Free Score, для измерения степени, в которой ответы LLM являются справедливыми, безопасными и антистереотипными. Эффективность методов устранения смещений систематически сравнивается и анализируется по ключевым направлениям: подходы на основе промптов vs. обучение, размер модели и обобщаемость различных стратегий обучения на неизвестные типы смещений. Мы планируем публично выпустить наш бенчмарк с целью создания единой тестовой платформы для исследований в области смягчения смещений.

English

Existing studies on bias mitigation methods for large language models (LLMs) use diverse baselines and metrics to evaluate debiasing performance, leading to inconsistent comparisons among them. Moreover, their evaluations are mostly based on the comparison between LLMs' probabilities of biased and unbiased contexts, which ignores the gap between such evaluations and real-world use cases where users interact with LLMs by reading model responses and expect fair and safe outputs rather than LLMs' probabilities. To enable consistent evaluation across debiasing methods and bridge this gap, we introduce BiasFreeBench, an empirical benchmark that comprehensively compares eight mainstream bias mitigation techniques (covering four prompting-based and four training-based methods) on two test scenarios (multi-choice QA and open-ended multi-turn QA) by reorganizing existing datasets into a unified query-response setting. We further introduce a response-level metric, Bias-Free Score, to measure the extent to which LLM responses are fair, safe, and anti-stereotypical. Debiasing performances are systematically compared and analyzed across key dimensions: the prompting vs. training paradigm, model size, and generalization of different training strategies to unseen bias types. We will publicly release our benchmark, aiming to establish a unified testbed for bias mitigation research.