選択肢問題: 推論により大規模言語モデル（LLMs）は、誤っている場合でもより自信を持つようになります。

Multiple Choice Questions: Reasoning Makes Large Language Models (LLMs) More Self-Confident Even When They Are Wrong

January 16, 2025

著者: Tairan Fu, Javier Conde, Gonzalo Martínez, María Grandury, Pedro Reviriego

cs.AI

要旨

LLM（Large Language Models）を評価するための最も広く使用されている方法の1つは、Multiple Choice Question（MCQ）テストです。MCQのベンチマークは、結果を自動的に処理できるため、ほぼどんなトピックに対しても規模でLLMの知識をテストすることができます。LLMが答えるのを支援するために、プロンプトにはフューショットと呼ばれるいくつかの例が含まれることがあります。さらに、LLMには、選択したオプションで直接問題に答えるか、まず理由を述べてから選択した答えを提供するよう求めることもできます。これは推論の連鎖として知られています。選択した答えが正しいかどうかを確認するだけでなく、評価では、LLMがその回答に対する信頼度の指標として、その応答のLLMによる推定確率を調べることができます。本論文では、LLMが回答に対する自信度が、モデルに直接回答するか理由を提供してから回答するかに依存するかを調査しています。7つの異なるモデルで幅広いトピックの質問の評価結果は、LLMが回答前に理由を提供すると、回答に対してより自信を持つことを示しています。これは選択した回答が正しいかどうかに関わらず起こります。私たちの仮説は、この行動が、LLMが入力質問と選択した理由を支持する推論に基づいて回答を予測することによって、選択した回答の確率を変更する推論に起因していると考えています。したがって、LLMの推定確率には理解すべき固有の制限があるようであり、評価手順でそれらを使用するためには理解する必要があります。興味深いことに、同じ行動が人間でも観察されており、回答を説明することで正解への自信が高まることが報告されています。

English

One of the most widely used methods to evaluate LLMs are Multiple Choice Question (MCQ) tests. MCQ benchmarks enable the testing of LLM knowledge on almost any topic at scale as the results can be processed automatically. To help the LLM answer, a few examples called few shots can be included in the prompt. Moreover, the LLM can be asked to answer the question directly with the selected option or to first provide the reasoning and then the selected answer, which is known as chain of thought. In addition to checking whether the selected answer is correct, the evaluation can look at the LLM-estimated probability of its response as an indication of the confidence of the LLM in the response. In this paper, we study how the LLM confidence in its answer depends on whether the model has been asked to answer directly or to provide the reasoning before answering. The results of the evaluation of questions on a wide range of topics in seven different models show that LLMs are more confident in their answers when they provide reasoning before the answer. This occurs regardless of whether the selected answer is correct. Our hypothesis is that this behavior is due to the reasoning that modifies the probability of the selected answer, as the LLM predicts the answer based on the input question and the reasoning that supports the selection made. Therefore, LLM estimated probabilities seem to have intrinsic limitations that should be understood in order to use them in evaluation procedures. Interestingly, the same behavior has been observed in humans, for whom explaining an answer increases confidence in its correctness.