Une étude sur le raisonnement latent

A Survey on Latent Reasoning

July 8, 2025

papers.authors: Rui-Jie Zhu, Tianhao Peng, Tianhao Cheng, Xingwei Qu, Jinfa Huang, Dawei Zhu, Hao Wang, Kaiwen Xue, Xuanliang Zhang, Yong Shan, Tianle Cai, Taylor Kergan, Assel Kembay, Andrew Smith, Chenghua Lin, Binh Nguyen, Yuqi Pan, Yuhong Chou, Zefan Cai, Zhenhe Wu, Yongchi Zhao, Tianyu Liu, Jian Yang, Wangchunshu Zhou, Chujie Zheng, Chongxuan Li, Yuyin Zhou, Zhoujun Li, Zhaoxiang Zhang, Jiaheng Liu, Ge Zhang, Wenhao Huang, Jason Eshraghian

cs.AI

papers.abstract

Les grands modèles de langage (LLM) ont démontré des capacités de raisonnement impressionnantes, en particulier lorsqu'ils sont guidés par un raisonnement explicite en chaîne de pensée (CoT) qui verbalise les étapes intermédiaires. Bien que le CoT améliore à la fois l'interprétabilité et la précision, sa dépendance au raisonnement en langage naturel limite la bande passante expressive du modèle. Le raisonnement latent aborde ce goulot d'étranglement en effectuant une inférence multi-étapes entièrement dans l'état caché continu du modèle, éliminant ainsi la supervision au niveau des tokens. Pour faire progresser la recherche sur le raisonnement latent, cette étude propose un aperçu complet du domaine émergent du raisonnement latent. Nous commençons par examiner le rôle fondamental des couches de réseaux de neurones comme substrat computationnel pour le raisonnement, en soulignant comment les représentations hiérarchiques soutiennent des transformations complexes. Ensuite, nous explorons diverses méthodologies de raisonnement latent, y compris la récurrence basée sur les activations, la propagation des états cachés, et les stratégies de fine-tuning qui compressent ou internalisent les traces de raisonnement explicites. Enfin, nous discutons des paradigmes avancés tels que le raisonnement latent à profondeur infinie via des modèles de diffusion masqués, qui permettent des processus de raisonnement globalement cohérents et réversibles. En unifiant ces perspectives, nous visons à clarifier le paysage conceptuel du raisonnement latent et à tracer des directions futures pour la recherche à la frontière de la cognition des LLM. Un dépôt GitHub associé, rassemblant les derniers articles et référentiels, est disponible à l'adresse suivante : https://github.com/multimodal-art-projection/LatentCoT-Horizon/.

English

Large Language Models (LLMs) have demonstrated impressive reasoning capabilities, especially when guided by explicit chain-of-thought (CoT) reasoning that verbalizes intermediate steps. While CoT improves both interpretability and accuracy, its dependence on natural language reasoning limits the model's expressive bandwidth. Latent reasoning tackles this bottleneck by performing multi-step inference entirely in the model's continuous hidden state, eliminating token-level supervision. To advance latent reasoning research, this survey provides a comprehensive overview of the emerging field of latent reasoning. We begin by examining the foundational role of neural network layers as the computational substrate for reasoning, highlighting how hierarchical representations support complex transformations. Next, we explore diverse latent reasoning methodologies, including activation-based recurrence, hidden state propagation, and fine-tuning strategies that compress or internalize explicit reasoning traces. Finally, we discuss advanced paradigms such as infinite-depth latent reasoning via masked diffusion models, which enable globally consistent and reversible reasoning processes. By unifying these perspectives, we aim to clarify the conceptual landscape of latent reasoning and chart future directions for research at the frontier of LLM cognition. An associated GitHub repository collecting the latest papers and repos is available at: https://github.com/multimodal-art-projection/LatentCoT-Horizon/.