Perguntas de Múltipla Escolha: O Raciocínio Torna os Modelos de Linguagem de Grande Escala (LLMs) Mais Autoconfiantes Mesmo Quando Estão Errados

Multiple Choice Questions: Reasoning Makes Large Language Models (LLMs) More Self-Confident Even When They Are Wrong

January 16, 2025

Autores: Tairan Fu, Javier Conde, Gonzalo Martínez, María Grandury, Pedro Reviriego

cs.AI

Resumo

Um dos métodos mais amplamente utilizados para avaliar LLMs são os testes de Questões de Múltipla Escolha (MCQ). Os benchmarks de MCQ permitem testar o conhecimento do LLM em quase qualquer tópico em escala, pois os resultados podem ser processados automaticamente. Para auxiliar na resposta do LLM, alguns exemplos chamados de poucas instâncias podem ser incluídos na solicitação. Além disso, o LLM pode ser solicitado a responder diretamente com a opção selecionada ou a fornecer primeiro o raciocínio e depois a resposta selecionada, o que é conhecido como cadeia de pensamento. Além de verificar se a resposta selecionada está correta, a avaliação pode analisar a probabilidade estimada pelo LLM de sua resposta como uma indicação da confiança do LLM na resposta. Neste artigo, estudamos como a confiança do LLM em sua resposta depende se o modelo foi solicitado a responder diretamente ou a fornecer o raciocínio antes de responder. Os resultados da avaliação de questões em uma ampla gama de tópicos em sete modelos diferentes mostram que os LLMs estão mais confiantes em suas respostas quando fornecem o raciocínio antes da resposta. Isso ocorre independentemente de a resposta selecionada estar correta. Nossa hipótese é que esse comportamento se deve ao raciocínio que modifica a probabilidade da resposta selecionada, já que o LLM prevê a resposta com base na pergunta de entrada e no raciocínio que sustenta a seleção feita. Portanto, as probabilidades estimadas pelo LLM parecem ter limitações intrínsecas que devem ser compreendidas para utilizá-las em procedimentos de avaliação. Curiosamente, o mesmo comportamento foi observado em humanos, para os quais explicar uma resposta aumenta a confiança em sua correção.

English

One of the most widely used methods to evaluate LLMs are Multiple Choice Question (MCQ) tests. MCQ benchmarks enable the testing of LLM knowledge on almost any topic at scale as the results can be processed automatically. To help the LLM answer, a few examples called few shots can be included in the prompt. Moreover, the LLM can be asked to answer the question directly with the selected option or to first provide the reasoning and then the selected answer, which is known as chain of thought. In addition to checking whether the selected answer is correct, the evaluation can look at the LLM-estimated probability of its response as an indication of the confidence of the LLM in the response. In this paper, we study how the LLM confidence in its answer depends on whether the model has been asked to answer directly or to provide the reasoning before answering. The results of the evaluation of questions on a wide range of topics in seven different models show that LLMs are more confident in their answers when they provide reasoning before the answer. This occurs regardless of whether the selected answer is correct. Our hypothesis is that this behavior is due to the reasoning that modifies the probability of the selected answer, as the LLM predicts the answer based on the input question and the reasoning that supports the selection made. Therefore, LLM estimated probabilities seem to have intrinsic limitations that should be understood in order to use them in evaluation procedures. Interestingly, the same behavior has been observed in humans, for whom explaining an answer increases confidence in its correctness.