思考連鎖にグローバルプランは存在しない：大規模言語モデルの潜在的な計画視野を解明する

要旨

本研究は、Chain-of-Thought（CoT）のダイナミクスに関する先行研究の相補的観察に端を発する。大規模言語モデル（LLM）には、CoTが顕在化する以前に後続の推論計画が潜在的に形成されていることが示されており、これが明示的なCoTの重要性を相対化する一方、多段階推論を要する課題ではCoTの重要性が維持される。我々はLLMの内部状態と言語化された推論軌跡の関係性を深く理解するため、多様なタスク領域における隠れ状態にTele-Lensと呼ばれるプロービング手法を適用し、LLMの潜在計画能力を検証した。実験結果から、LLMは近視眼的な計画視野を持ち、精密な大域計画ではなく主に逐次的な状態遷移を行っていることが明らかとなった。この特性を活用し、我々はCoTの不確実性推定を強化する仮説を提案。CoT経路全体の不確実性が、ごく一部の重要位置において効果的に表現可能であることを実証した。さらにCoTダイナミクスの活用意義を強調し、性能劣化なしにCoTバイパスの自動認識が可能であることを示す。コード・データ・モデルはhttps://github.com/lxucs/tele-lensで公開している。

English

This work stems from prior complementary observations on the dynamics of Chain-of-Thought (CoT): Large Language Models (LLMs) is shown latent planning of subsequent reasoning prior to CoT emergence, thereby diminishing the significance of explicit CoT; whereas CoT remains critical for tasks requiring multi-step reasoning. To deepen the understanding between LLM's internal states and its verbalized reasoning trajectories, we investigate the latent planning strength of LLMs, through our probing method, Tele-Lens, applying to hidden states across diverse task domains. Our empirical results indicate that LLMs exhibit a myopic horizon, primarily conducting incremental transitions without precise global planning. Leveraging this characteristic, we propose a hypothesis on enhancing uncertainty estimation of CoT, which we validate that a small subset of CoT positions can effectively represent the uncertainty of the entire path. We further underscore the significance of exploiting CoT dynamics, and demonstrate that automatic recognition of CoT bypass can be achieved without performance degradation. Our code, data and models are released at https://github.com/lxucs/tele-lens.

思考連鎖にグローバルプランは存在しない：大規模言語モデルの潜在的な計画視野を解明する

No Global Plan in Chain-of-Thought: Uncover the Latent Planning Horizon of LLMs

要旨

Support