Eine Übersicht über latentes Schließen

A Survey on Latent Reasoning

July 8, 2025

papers.authors: Rui-Jie Zhu, Tianhao Peng, Tianhao Cheng, Xingwei Qu, Jinfa Huang, Dawei Zhu, Hao Wang, Kaiwen Xue, Xuanliang Zhang, Yong Shan, Tianle Cai, Taylor Kergan, Assel Kembay, Andrew Smith, Chenghua Lin, Binh Nguyen, Yuqi Pan, Yuhong Chou, Zefan Cai, Zhenhe Wu, Yongchi Zhao, Tianyu Liu, Jian Yang, Wangchunshu Zhou, Chujie Zheng, Chongxuan Li, Yuyin Zhou, Zhoujun Li, Zhaoxiang Zhang, Jiaheng Liu, Ge Zhang, Wenhao Huang, Jason Eshraghian

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) haben beeindruckende Fähigkeiten im Bereich des logischen Denkens gezeigt, insbesondere wenn sie durch explizite Ketten von Gedanken (Chain-of-Thought, CoT) geleitet werden, die Zwischenschritte verbalisieren. Während CoT sowohl die Interpretierbarkeit als auch die Genauigkeit verbessert, begrenzt seine Abhängigkeit von natürlicher Sprache die Ausdrucksbandbreite des Modells. Latentes Denken (Latent Reasoning) adressiert diesen Engpass, indem es mehrstufige Inferenzen vollständig im kontinuierlichen verborgenen Zustand des Modells durchführt und dabei die Token-weise Überwachung eliminiert. Um die Forschung im Bereich des latenten Denkens voranzutreiben, bietet dieser Überblick eine umfassende Betrachtung dieses aufstrebenden Forschungsfeldes. Wir beginnen mit der Untersuchung der grundlegenden Rolle von neuronalen Netzwerkschichten als Rechengrundlage für das Denken und heben hervor, wie hierarchische Repräsentationen komplexe Transformationen unterstützen. Anschließend erkunden wir verschiedene Methoden des latenten Denkens, einschließlich aktivierungsbasierter Rekurrenz, der Propagation von verborgenen Zuständen und Feinabstimmungsstrategien, die explizite Denkspuren komprimieren oder internalisieren. Schließlich diskutieren wir fortgeschrittene Paradigmen wie unendlich tiefes latentes Denken durch maskierte Diffusionsmodelle, die global konsistente und reversible Denkprozesse ermöglichen. Indem wir diese Perspektiven vereinen, möchten wir das konzeptionelle Landschaftsbild des latenten Denkens klären und zukünftige Forschungsrichtungen an der Grenze der LLM-Kognition aufzeigen. Ein zugehöriges GitHub-Repository, das die neuesten Artikel und Repositories sammelt, ist verfügbar unter: https://github.com/multimodal-art-projection/LatentCoT-Horizon/.

English

Large Language Models (LLMs) have demonstrated impressive reasoning capabilities, especially when guided by explicit chain-of-thought (CoT) reasoning that verbalizes intermediate steps. While CoT improves both interpretability and accuracy, its dependence on natural language reasoning limits the model's expressive bandwidth. Latent reasoning tackles this bottleneck by performing multi-step inference entirely in the model's continuous hidden state, eliminating token-level supervision. To advance latent reasoning research, this survey provides a comprehensive overview of the emerging field of latent reasoning. We begin by examining the foundational role of neural network layers as the computational substrate for reasoning, highlighting how hierarchical representations support complex transformations. Next, we explore diverse latent reasoning methodologies, including activation-based recurrence, hidden state propagation, and fine-tuning strategies that compress or internalize explicit reasoning traces. Finally, we discuss advanced paradigms such as infinite-depth latent reasoning via masked diffusion models, which enable globally consistent and reversible reasoning processes. By unifying these perspectives, we aim to clarify the conceptual landscape of latent reasoning and chart future directions for research at the frontier of LLM cognition. An associated GitHub repository collecting the latest papers and repos is available at: https://github.com/multimodal-art-projection/LatentCoT-Horizon/.