B-score: Выявление смещений в больших языковых моделях с использованием истории ответов

B-score: Detecting biases in large language models using response history

May 24, 2025

Авторы: An Vo, Mohammad Reza Taesiri, Daeyoung Kim, Anh Totti Nguyen

cs.AI

Аннотация

Крупные языковые модели (LLMs) часто демонстрируют сильные предубеждения, например, против женщин или в пользу числа 7. Мы исследуем, смогут ли LLMs выдавать менее предвзятые ответы, если им будет позволено наблюдать свои предыдущие ответы на тот же вопрос в многоходовом диалоге. Чтобы понять, какие типы вопросов провоцируют более предвзятые ответы, мы тестируем LLMs на предложенном нами наборе вопросов, охватывающих 9 тем и относящихся к трем типам: (1) Субъективные; (2) Случайные; и (3) Объективные. Интересно, что LLMs способны "самоисправляться" в многоходовом диалоге в ответ на вопросы, требующие случайного, непредвзятого ответа. Кроме того, мы предлагаем B-score — новый метрический показатель, который эффективно выявляет предубеждения в ответах на субъективные, случайные, простые и сложные вопросы. На наборах данных MMLU, HLE и CSQA использование B-score значительно повышает точность проверки ответов LLMs (т.е. принятие правильных ответов и отклонение неправильных) по сравнению с использованием вербализированных показателей уверенности или частоты одноходовых ответов. Код и данные доступны по адресу: https://b-score.github.io.

English

Large language models (LLMs) often exhibit strong biases, e.g, against women or in favor of the number 7. We investigate whether LLMs would be able to output less biased answers when allowed to observe their prior answers to the same question in a multi-turn conversation. To understand which types of questions invite more biased answers, we test LLMs on our proposed set of questions that span 9 topics and belong to three types: (1) Subjective; (2) Random; and (3) Objective. Interestingly, LLMs are able to "de-bias" themselves in a multi-turn conversation in response to questions that seek an Random, unbiased answer. Furthermore, we propose B-score, a novel metric that is effective in detecting biases to Subjective, Random, Easy, and Hard questions. On MMLU, HLE, and CSQA, leveraging B-score substantially improves the verification accuracy of LLM answers (i.e, accepting LLM correct answers and rejecting incorrect ones) compared to using verbalized confidence scores or the frequency of single-turn answers alone. Code and data are available at: https://b-score.github.io.