LLMは暗黙の推論において段階的に考えるわけではありません。

LLMs Do Not Think Step-by-step In Implicit Reasoning

November 24, 2024

著者: Yijiong Yu

cs.AI

要旨

Chain-of-Thought（CoT）がLLM（Large Language Models）の複雑なタスクにおける性能を著しく向上させることはよく知られています。ただし、それは推論速度を遅くし、計算コストを高めるため、多くの研究者がLLMが中間ステップを明示的に生成する必要がない暗黙のCoTを使用しようと試みてきました。しかし、その効果と典型的な明示的CoT方法との間にはまだ差があります。これにより、暗黙のCoTは本当に明示的なCoTと同等なのかという疑念が残ります。したがって、本研究ではこの問いに実験を通じて取り組みます。LLMが暗黙のCoTを行う際に、モデルの隠れた状態から中間ステップの情報を調査します。驚くべき結果は、LLMが中間ステップについてほとんど考えていないことを示唆し、彼らが厳密な段階的推論ではなく経験に頼っている可能性があることを示しています。さらに、LLMの暗黙の推論能力が影響を受けやすく不安定であることがわかり、複雑なタスクを効果的にサポートするためには明示的なCoTの必要性を再確認しています。

English

It has been well-known that Chain-of-Thought can remarkably enhance LLMs' performance on complex tasks. However, because it also introduces slower inference speeds and higher computational costs, many researches have attempted to use implicit CoT, which does not need LLMs to explicitly generate the intermediate steps. But there is still gap between their efficacy and typical explicit CoT methods. This leaves us a doubt that, does implicit CoT really equal to explicit CoT? Therefore, in this study, we address this question through experiments. We probe the information of intermediate steps from the model's hidden states when it is performing implicit CoT. The results surprisingly indicate that LLMs hardly think about intermediate steps, suggesting they may just rely on experience rather than strict step-by-step reasoning. Moreover, we find LLMs' implicit reasoning capabilities are susceptible and unstable, reaffirming the necessity of explicit CoT to effectively support complex tasks.