潜在推論に関する調査

A Survey on Latent Reasoning

July 8, 2025

著者: Rui-Jie Zhu, Tianhao Peng, Tianhao Cheng, Xingwei Qu, Jinfa Huang, Dawei Zhu, Hao Wang, Kaiwen Xue, Xuanliang Zhang, Yong Shan, Tianle Cai, Taylor Kergan, Assel Kembay, Andrew Smith, Chenghua Lin, Binh Nguyen, Yuqi Pan, Yuhong Chou, Zefan Cai, Zhenhe Wu, Yongchi Zhao, Tianyu Liu, Jian Yang, Wangchunshu Zhou, Chujie Zheng, Chongxuan Li, Yuyin Zhou, Zhoujun Li, Zhaoxiang Zhang, Jiaheng Liu, Ge Zhang, Wenhao Huang, Jason Eshraghian

cs.AI

要旨

大規模言語モデル（LLMs）は、特に中間ステップを言語化する明示的な連鎖的思考（CoT）推論に導かれる場合、印象的な推論能力を示している。CoTは解釈可能性と精度の両方を向上させるが、自然言語推論への依存がモデルの表現帯域幅を制限している。潜在推論は、多段階の推論をモデルの連続的な隠れ状態で完全に実行し、トークンレベルの監督を排除することで、このボトルネックに対処する。潜在推論研究を推進するため、本調査はこの新興分野の包括的な概観を提供する。まず、ニューラルネットワーク層が推論の計算基盤として果たす基本的な役割を検証し、階層的表現が複雑な変換をどのようにサポートするかを強調する。次に、活性化ベースの再帰、隠れ状態伝播、明示的な推論トレースを圧縮または内在化するファインチューニング戦略など、多様な潜在推論手法を探る。最後に、マスク拡散モデルを介した無限深度の潜在推論など、グローバルに一貫性があり可逆的な推論プロセスを可能にする先進的なパラダイムについて議論する。これらの視点を統合することで、潜在推論の概念的枠組みを明確にし、LLM認知の最前線における研究の将来の方向性を示すことを目指す。最新の論文とリポジトリを収集した関連GitHubリポジトリは以下で利用可能である： https://github.com/multimodal-art-projection/LatentCoT-Horizon/

English

Large Language Models (LLMs) have demonstrated impressive reasoning capabilities, especially when guided by explicit chain-of-thought (CoT) reasoning that verbalizes intermediate steps. While CoT improves both interpretability and accuracy, its dependence on natural language reasoning limits the model's expressive bandwidth. Latent reasoning tackles this bottleneck by performing multi-step inference entirely in the model's continuous hidden state, eliminating token-level supervision. To advance latent reasoning research, this survey provides a comprehensive overview of the emerging field of latent reasoning. We begin by examining the foundational role of neural network layers as the computational substrate for reasoning, highlighting how hierarchical representations support complex transformations. Next, we explore diverse latent reasoning methodologies, including activation-based recurrence, hidden state propagation, and fine-tuning strategies that compress or internalize explicit reasoning traces. Finally, we discuss advanced paradigms such as infinite-depth latent reasoning via masked diffusion models, which enable globally consistent and reversible reasoning processes. By unifying these perspectives, we aim to clarify the conceptual landscape of latent reasoning and chart future directions for research at the frontier of LLM cognition. An associated GitHub repository collecting the latest papers and repos is available at: https://github.com/multimodal-art-projection/LatentCoT-Horizon/.