Absence de plan global dans la pensée enchaînée : Révéler l'horizon de planification latent des LLM

No Global Plan in Chain-of-Thought: Uncover the Latent Planning Horizon of LLMs

February 2, 2026

papers.authors: Liyan Xu, Mo Yu, Fandong Meng, Jie Zhou

cs.AI

papers.abstract

Ce travail découle d'observations complémentaires antérieures sur la dynamique du raisonnement en chaîne (Chain-of-Thought, CoT) : il a été démontré que les grands modèles de langage (LLMs) planifient de manière latente les raisonnements ultérieurs avant l'émergence du CoT, réduisant ainsi l'importance du CoT explicite ; tandis que le CoT reste crucial pour les tâches nécessitant un raisonnement à multiples étapes. Pour approfondir la compréhension des liens entre les états internes des LLMs et leurs trajectoires de raisonnement verbalisées, nous étudions la capacité de planification latente des LLMs grâce à notre méthode de sondage, Tele-Lens, appliquée aux états cachés dans divers domaines de tâches. Nos résultats empiriques indiquent que les LLMs présentent un horizon myope, effectuant principalement des transitions incrémentales sans planification globale précise. En tirant parti de cette caractéristique, nous proposons une hypothèse pour améliorer l'estimation de l'incertitude du CoT, que nous validons en montrant qu'un petit sous-ensemble de positions du CoT peut représenter efficacement l'incertitude de l'ensemble du chemin. Nous soulignons en outre l'importance d'exploiter la dynamique du CoT et démontrons qu'une reconnaissance automatique du contournement du CoT peut être réalisée sans dégradation des performances. Notre code, nos données et nos modèles sont disponibles à l'adresse https://github.com/lxucs/tele-lens.

English

This work stems from prior complementary observations on the dynamics of Chain-of-Thought (CoT): Large Language Models (LLMs) is shown latent planning of subsequent reasoning prior to CoT emergence, thereby diminishing the significance of explicit CoT; whereas CoT remains critical for tasks requiring multi-step reasoning. To deepen the understanding between LLM's internal states and its verbalized reasoning trajectories, we investigate the latent planning strength of LLMs, through our probing method, Tele-Lens, applying to hidden states across diverse task domains. Our empirical results indicate that LLMs exhibit a myopic horizon, primarily conducting incremental transitions without precise global planning. Leveraging this characteristic, we propose a hypothesis on enhancing uncertainty estimation of CoT, which we validate that a small subset of CoT positions can effectively represent the uncertainty of the entire path. We further underscore the significance of exploiting CoT dynamics, and demonstrate that automatic recognition of CoT bypass can be achieved without performance degradation. Our code, data and models are released at https://github.com/lxucs/tele-lens.