Preguntas de Selección Múltiple: El Razonamiento Hace que los Modelos de Lenguaje de Gran Tamaño (LLMs) Sean Más Seguros de Sí Mismos Incluso Cuando Están Equivocados

Multiple Choice Questions: Reasoning Makes Large Language Models (LLMs) More Self-Confident Even When They Are Wrong

January 16, 2025

Autores: Tairan Fu, Javier Conde, Gonzalo Martínez, María Grandury, Pedro Reviriego

cs.AI

Resumen

Uno de los métodos más ampliamente utilizados para evaluar los Modelos de Lenguaje con Grandes Dimensiones (LLMs) son las pruebas de Preguntas de Opción Múltiple (MCQ). Los puntos de referencia de MCQ permiten probar el conocimiento de LLM sobre casi cualquier tema a gran escala, ya que los resultados pueden procesarse automáticamente. Para ayudar al LLM a responder, se pueden incluir en la indicación unos pocos ejemplos llamados pocos ejemplos. Además, se puede pedir al LLM que responda directamente con la opción seleccionada o que primero proporcione el razonamiento y luego la respuesta seleccionada, lo que se conoce como cadena de pensamiento. Además de verificar si la respuesta seleccionada es correcta, la evaluación puede analizar la probabilidad estimada por el LLM de su respuesta como indicación de la confianza del LLM en la respuesta. En este documento, estudiamos cómo la confianza del LLM en su respuesta depende de si se le ha pedido al modelo que responda directamente o que proporcione el razonamiento antes de responder. Los resultados de la evaluación de preguntas sobre una amplia gama de temas en siete modelos diferentes muestran que los LLMs tienen más confianza en sus respuestas cuando proporcionan el razonamiento antes de la respuesta. Esto ocurre independientemente de si la respuesta seleccionada es correcta. Nuestra hipótesis es que este comportamiento se debe al razonamiento que modifica la probabilidad de la respuesta seleccionada, ya que el LLM predice la respuesta basándose en la pregunta de entrada y el razonamiento que respalda la selección realizada. Por lo tanto, las probabilidades estimadas por el LLM parecen tener limitaciones intrínsecas que deben entenderse para utilizarlas en procedimientos de evaluación. Curiosamente, se ha observado el mismo comportamiento en los humanos, para quienes explicar una respuesta aumenta la confianza en su corrección.

English

One of the most widely used methods to evaluate LLMs are Multiple Choice Question (MCQ) tests. MCQ benchmarks enable the testing of LLM knowledge on almost any topic at scale as the results can be processed automatically. To help the LLM answer, a few examples called few shots can be included in the prompt. Moreover, the LLM can be asked to answer the question directly with the selected option or to first provide the reasoning and then the selected answer, which is known as chain of thought. In addition to checking whether the selected answer is correct, the evaluation can look at the LLM-estimated probability of its response as an indication of the confidence of the LLM in the response. In this paper, we study how the LLM confidence in its answer depends on whether the model has been asked to answer directly or to provide the reasoning before answering. The results of the evaluation of questions on a wide range of topics in seven different models show that LLMs are more confident in their answers when they provide reasoning before the answer. This occurs regardless of whether the selected answer is correct. Our hypothesis is that this behavior is due to the reasoning that modifies the probability of the selected answer, as the LLM predicts the answer based on the input question and the reasoning that supports the selection made. Therefore, LLM estimated probabilities seem to have intrinsic limitations that should be understood in order to use them in evaluation procedures. Interestingly, the same behavior has been observed in humans, for whom explaining an answer increases confidence in its correctness.