B-score: Detección de sesgos en modelos de lenguaje extenso utilizando el historial de respuestas

B-score: Detecting biases in large language models using response history

May 24, 2025

Autores: An Vo, Mohammad Reza Taesiri, Daeyoung Kim, Anh Totti Nguyen

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) suelen exhibir fuertes sesgos, por ejemplo, contra las mujeres o a favor del número 7. Investigamos si los LLMs serían capaces de generar respuestas menos sesgadas cuando se les permite observar sus respuestas previas a la misma pregunta en una conversación de múltiples turnos. Para comprender qué tipos de preguntas invitan a respuestas más sesgadas, probamos los LLMs con nuestro conjunto propuesto de preguntas que abarcan 9 temas y pertenecen a tres tipos: (1) Subjetivas; (2) Aleatorias; y (3) Objetivas. Curiosamente, los LLMs son capaces de "des-sesgarse" en una conversación de múltiples turnos en respuesta a preguntas que buscan una respuesta aleatoria y no sesgada. Además, proponemos B-score, una métrica novedosa que es efectiva para detectar sesgos en preguntas Subjetivas, Aleatorias, Fáciles y Difíciles. En MMLU, HLE y CSQA, el uso de B-score mejora sustancialmente la precisión de verificación de las respuestas de los LLMs (es decir, aceptar respuestas correctas de los LLMs y rechazar las incorrectas) en comparación con el uso de puntuaciones de confianza verbalizadas o la frecuencia de respuestas de un solo turno. El código y los datos están disponibles en: https://b-score.github.io.

English

Large language models (LLMs) often exhibit strong biases, e.g, against women or in favor of the number 7. We investigate whether LLMs would be able to output less biased answers when allowed to observe their prior answers to the same question in a multi-turn conversation. To understand which types of questions invite more biased answers, we test LLMs on our proposed set of questions that span 9 topics and belong to three types: (1) Subjective; (2) Random; and (3) Objective. Interestingly, LLMs are able to "de-bias" themselves in a multi-turn conversation in response to questions that seek an Random, unbiased answer. Furthermore, we propose B-score, a novel metric that is effective in detecting biases to Subjective, Random, Easy, and Hard questions. On MMLU, HLE, and CSQA, leveraging B-score substantially improves the verification accuracy of LLM answers (i.e, accepting LLM correct answers and rejecting incorrect ones) compared to using verbalized confidence scores or the frequency of single-turn answers alone. Code and data are available at: https://b-score.github.io.