B-Score: Erkennung von Verzerrungen in großen Sprachmodellen anhand der Antwortverläufe

B-score: Detecting biases in large language models using response history

May 24, 2025

Autoren: An Vo, Mohammad Reza Taesiri, Daeyoung Kim, Anh Totti Nguyen

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) zeigen oft starke Verzerrungen, beispielsweise gegenüber Frauen oder zugunsten der Zahl 7. Wir untersuchen, ob LLMs in der Lage sind, weniger verzerrte Antworten zu liefern, wenn sie ihre vorherigen Antworten auf dieselbe Frage in einem mehrschrittigen Dialog einsehen können. Um zu verstehen, welche Arten von Fragen stärker verzerrte Antworten provozieren, testen wir LLMs anhand eines von uns vorgeschlagenen Fragesets, das neun Themen umfasst und drei Kategorien zugeordnet ist: (1) Subjektiv; (2) Zufällig; und (3) Objektiv. Interessanterweise können sich LLMs in einem mehrschrittigen Dialog selbst „entzerren“, wenn sie Fragen beantworten, die eine zufällige, unvoreingenommene Antwort erfordern. Darüber hinaus schlagen wir den B-Score vor, eine neuartige Metrik, die effektiv Verzerrungen bei subjektiven, zufälligen, einfachen und schwierigen Fragen erkennen kann. Auf den Datensätzen MMLU, HLE und CSQA verbessert die Nutzung des B-Scores die Verifikationsgenauigkeit von LLM-Antworten (d. h. das Akzeptieren korrekter und das Ablehnen falscher Antworten) erheblich im Vergleich zur Verwendung verbalisierter Konfidenzscores oder der Häufigkeit von Einzelantworten allein. Code und Daten sind verfügbar unter: https://b-score.github.io.

English

Large language models (LLMs) often exhibit strong biases, e.g, against women or in favor of the number 7. We investigate whether LLMs would be able to output less biased answers when allowed to observe their prior answers to the same question in a multi-turn conversation. To understand which types of questions invite more biased answers, we test LLMs on our proposed set of questions that span 9 topics and belong to three types: (1) Subjective; (2) Random; and (3) Objective. Interestingly, LLMs are able to "de-bias" themselves in a multi-turn conversation in response to questions that seek an Random, unbiased answer. Furthermore, we propose B-score, a novel metric that is effective in detecting biases to Subjective, Random, Easy, and Hard questions. On MMLU, HLE, and CSQA, leveraging B-score substantially improves the verification accuracy of LLM answers (i.e, accepting LLM correct answers and rejecting incorrect ones) compared to using verbalized confidence scores or the frequency of single-turn answers alone. Code and data are available at: https://b-score.github.io.