잠재적 추론에 관한 연구 동향

A Survey on Latent Reasoning

July 8, 2025

저자: Rui-Jie Zhu, Tianhao Peng, Tianhao Cheng, Xingwei Qu, Jinfa Huang, Dawei Zhu, Hao Wang, Kaiwen Xue, Xuanliang Zhang, Yong Shan, Tianle Cai, Taylor Kergan, Assel Kembay, Andrew Smith, Chenghua Lin, Binh Nguyen, Yuqi Pan, Yuhong Chou, Zefan Cai, Zhenhe Wu, Yongchi Zhao, Tianyu Liu, Jian Yang, Wangchunshu Zhou, Chujie Zheng, Chongxuan Li, Yuyin Zhou, Zhoujun Li, Zhaoxiang Zhang, Jiaheng Liu, Ge Zhang, Wenhao Huang, Jason Eshraghian

cs.AI

초록

대형 언어 모델(LLMs)은 특히 중간 단계를 언어화하는 명시적 사고 연쇄(CoT) 추론의 지도 하에서 인상적인 추론 능력을 보여주고 있습니다. CoT는 해석 가능성과 정확성을 모두 향상시키지만, 자연어 추론에 대한 의존성은 모델의 표현 대역폭을 제한합니다. 잠재적 추론은 이러한 병목 현상을 해결하기 위해 다단계 추론을 모델의 연속적인 은닉 상태에서 완전히 수행함으로써 토큰 수준의 감독을 제거합니다. 잠재적 추론 연구를 발전시키기 위해, 본 조사는 잠재적 추론이라는 새로운 분야에 대한 포괄적인 개요를 제공합니다. 먼저, 신경망 계층이 추론의 계산적 기반으로서의 기본적인 역할을 검토하며, 계층적 표현이 복잡한 변환을 어떻게 지원하는지 강조합니다. 다음으로, 활성화 기반 반복, 은닉 상태 전파, 명시적 추론 흔적을 압축하거나 내재화하는 미세 조정 전략 등 다양한 잠재적 추론 방법론을 탐구합니다. 마지막으로, 마스크된 확산 모델을 통한 무한 깊이 잠재적 추론과 같은 고급 패러다임을 논의하며, 이는 전역적으로 일관되고 가역적인 추론 과정을 가능하게 합니다. 이러한 관점을 통합함으로써, 우리는 잠재적 추론의 개념적 지형을 명확히 하고 LLM 인식의 최전선에서의 연구 방향을 제시하고자 합니다. 최신 논문과 저장소를 모은 관련 GitHub 저장소는 https://github.com/multimodal-art-projection/LatentCoT-Horizon/에서 확인할 수 있습니다.

English

Large Language Models (LLMs) have demonstrated impressive reasoning capabilities, especially when guided by explicit chain-of-thought (CoT) reasoning that verbalizes intermediate steps. While CoT improves both interpretability and accuracy, its dependence on natural language reasoning limits the model's expressive bandwidth. Latent reasoning tackles this bottleneck by performing multi-step inference entirely in the model's continuous hidden state, eliminating token-level supervision. To advance latent reasoning research, this survey provides a comprehensive overview of the emerging field of latent reasoning. We begin by examining the foundational role of neural network layers as the computational substrate for reasoning, highlighting how hierarchical representations support complex transformations. Next, we explore diverse latent reasoning methodologies, including activation-based recurrence, hidden state propagation, and fine-tuning strategies that compress or internalize explicit reasoning traces. Finally, we discuss advanced paradigms such as infinite-depth latent reasoning via masked diffusion models, which enable globally consistent and reversible reasoning processes. By unifying these perspectives, we aim to clarify the conceptual landscape of latent reasoning and chart future directions for research at the frontier of LLM cognition. An associated GitHub repository collecting the latest papers and repos is available at: https://github.com/multimodal-art-projection/LatentCoT-Horizon/.