Множественный выбор вопросов: Рассуждение делает большие языковые модели (LLM) более уверенными в себе, даже когда они ошибаются.

Multiple Choice Questions: Reasoning Makes Large Language Models (LLMs) More Self-Confident Even When They Are Wrong

January 16, 2025

Авторы: Tairan Fu, Javier Conde, Gonzalo Martínez, María Grandury, Pedro Reviriego

cs.AI

Аннотация

Одним из наиболее широко используемых методов оценки LLM являются тесты с выбором из нескольких вариантов ответа (MCQ). Бенчмарки MCQ позволяют проверять знания LLM по практически любой теме в масштабах, так как результаты можно обрабатывать автоматически. Чтобы помочь LLM в ответе, в вопросе могут быть включены несколько примеров, называемых few shots. Кроме того, LLM могут попросить ответить на вопрос непосредственно с выбранным вариантом или сначала предоставить рассуждение, а затем выбранный ответ, что известно как цепочка мыслей. Помимо проверки правильности выбранного ответа, оценка может рассматривать оцененную LLM вероятность своего ответа как показатель уверенности LLM в ответе. В данной работе мы изучаем, как уверенность LLM в своем ответе зависит от того, было ли модели предложено ответить непосредственно или предоставить рассуждение перед ответом. Результаты оценки вопросов по широкому спектру тем в семи различных моделях показывают, что LLM более уверены в своих ответах, когда они предоставляют рассуждение перед ответом. Это происходит независимо от того, правильный ли выбран ответ. Наша гипотеза заключается в том, что такое поведение обусловлено рассуждениями, которые изменяют вероятность выбранного ответа, поскольку LLM предсказывает ответ на основе входного вопроса и рассуждений, поддерживающих сделанный выбор. Следовательно, оцененные вероятности LLM кажутся имеющими внутренние ограничения, которые следует понимать для использования их в процедурах оценки. Интересно, что такое же поведение наблюдается у людей, для которых объяснение ответа увеличивает уверенность в его правильности.

English

One of the most widely used methods to evaluate LLMs are Multiple Choice Question (MCQ) tests. MCQ benchmarks enable the testing of LLM knowledge on almost any topic at scale as the results can be processed automatically. To help the LLM answer, a few examples called few shots can be included in the prompt. Moreover, the LLM can be asked to answer the question directly with the selected option or to first provide the reasoning and then the selected answer, which is known as chain of thought. In addition to checking whether the selected answer is correct, the evaluation can look at the LLM-estimated probability of its response as an indication of the confidence of the LLM in the response. In this paper, we study how the LLM confidence in its answer depends on whether the model has been asked to answer directly or to provide the reasoning before answering. The results of the evaluation of questions on a wide range of topics in seven different models show that LLMs are more confident in their answers when they provide reasoning before the answer. This occurs regardless of whether the selected answer is correct. Our hypothesis is that this behavior is due to the reasoning that modifies the probability of the selected answer, as the LLM predicts the answer based on the input question and the reasoning that supports the selection made. Therefore, LLM estimated probabilities seem to have intrinsic limitations that should be understood in order to use them in evaluation procedures. Interestingly, the same behavior has been observed in humans, for whom explaining an answer increases confidence in its correctness.