B-score: Rilevare i bias nei modelli linguistici di grandi dimensioni utilizzando la cronologia delle risposte

B-score: Detecting biases in large language models using response history

May 24, 2025

Autori: An Vo, Mohammad Reza Taesiri, Daeyoung Kim, Anh Totti Nguyen

cs.AI

Abstract

I grandi modelli linguistici (LLM) spesso mostrano forti pregiudizi, ad esempio contro le donne o a favore del numero 7. Indaghiamo se gli LLM siano in grado di produrre risposte meno distorte quando possono osservare le loro risposte precedenti alla stessa domanda in una conversazione a più turni. Per comprendere quali tipi di domande invitano risposte più distorte, testiamo gli LLM sul nostro set di domande proposte che coprono 9 argomenti e appartengono a tre tipologie: (1) Soggettive; (2) Casuali; e (3) Oggettive. È interessante notare che gli LLM sono in grado di "de-distorcere" se stessi in una conversazione a più turni in risposta a domande che cercano una risposta Casuale e imparziale. Inoltre, proponiamo il B-score, una nuova metrica efficace nel rilevare i pregiudizi nelle domande Soggettive, Casuali, Facili e Difficili. Su MMLU, HLE e CSQA, l'utilizzo del B-score migliora sostanzialmente l'accuratezza di verifica delle risposte degli LLM (cioè, accettare le risposte corrette degli LLM e rifiutare quelle errate) rispetto all'uso dei punteggi di fiducia verbalizzati o alla frequenza delle risposte a turno singolo da soli. Codice e dati sono disponibili al seguente indirizzo: https://b-score.github.io.

English

Large language models (LLMs) often exhibit strong biases, e.g, against women or in favor of the number 7. We investigate whether LLMs would be able to output less biased answers when allowed to observe their prior answers to the same question in a multi-turn conversation. To understand which types of questions invite more biased answers, we test LLMs on our proposed set of questions that span 9 topics and belong to three types: (1) Subjective; (2) Random; and (3) Objective. Interestingly, LLMs are able to "de-bias" themselves in a multi-turn conversation in response to questions that seek an Random, unbiased answer. Furthermore, we propose B-score, a novel metric that is effective in detecting biases to Subjective, Random, Easy, and Hard questions. On MMLU, HLE, and CSQA, leveraging B-score substantially improves the verification accuracy of LLM answers (i.e, accepting LLM correct answers and rejecting incorrect ones) compared to using verbalized confidence scores or the frequency of single-turn answers alone. Code and data are available at: https://b-score.github.io.