B-score: Detecção de vieses em modelos de linguagem de grande escala usando o histórico de respostas
B-score: Detecting biases in large language models using response history
May 24, 2025
Autores: An Vo, Mohammad Reza Taesiri, Daeyoung Kim, Anh Totti Nguyen
cs.AI
Resumo
Modelos de linguagem de grande escala (LLMs) frequentemente exibem fortes vieses, por exemplo, contra mulheres ou a favor do número 7. Investigamos se os LLMs seriam capazes de gerar respostas menos tendenciosas quando permitidos a observar suas respostas anteriores à mesma pergunta em uma conversa de múltiplos turnos. Para entender quais tipos de perguntas induzem respostas mais enviesadas, testamos os LLMs em nosso conjunto proposto de perguntas que abrangem 9 tópicos e pertencem a três tipos: (1) Subjetivas; (2) Aleatórias; e (3) Objetivas. Curiosamente, os LLMs conseguem "desenviesar-se" em uma conversa de múltiplos turnos em resposta a perguntas que buscam uma resposta Aleatória e imparcial. Além disso, propomos o B-score, uma nova métrica eficaz na detecção de vieses em perguntas Subjetivas, Aleatórias, Fáceis e Difíceis. No MMLU, HLE e CSQA, o uso do B-score melhora substancialmente a precisão de verificação das respostas dos LLMs (ou seja, aceitando respostas corretas e rejeitando as incorretas) em comparação com o uso de pontuações de confiança verbalizadas ou a frequência de respostas de turno único isoladamente. Código e dados estão disponíveis em: https://b-score.github.io.
English
Large language models (LLMs) often exhibit strong biases, e.g, against women
or in favor of the number 7. We investigate whether LLMs would be able to
output less biased answers when allowed to observe their prior answers to the
same question in a multi-turn conversation. To understand which types of
questions invite more biased answers, we test LLMs on our proposed set of
questions that span 9 topics and belong to three types: (1) Subjective; (2)
Random; and (3) Objective. Interestingly, LLMs are able to "de-bias" themselves
in a multi-turn conversation in response to questions that seek an Random,
unbiased answer. Furthermore, we propose B-score, a novel metric that is
effective in detecting biases to Subjective, Random, Easy, and Hard questions.
On MMLU, HLE, and CSQA, leveraging B-score substantially improves the
verification accuracy of LLM answers (i.e, accepting LLM correct answers and
rejecting incorrect ones) compared to using verbalized confidence scores or the
frequency of single-turn answers alone. Code and data are available at:
https://b-score.github.io.