Обзор латентного рассуждения

A Survey on Latent Reasoning

July 8, 2025

Авторы: Rui-Jie Zhu, Tianhao Peng, Tianhao Cheng, Xingwei Qu, Jinfa Huang, Dawei Zhu, Hao Wang, Kaiwen Xue, Xuanliang Zhang, Yong Shan, Tianle Cai, Taylor Kergan, Assel Kembay, Andrew Smith, Chenghua Lin, Binh Nguyen, Yuqi Pan, Yuhong Chou, Zefan Cai, Zhenhe Wu, Yongchi Zhao, Tianyu Liu, Jian Yang, Wangchunshu Zhou, Chujie Zheng, Chongxuan Li, Yuyin Zhou, Zhoujun Li, Zhaoxiang Zhang, Jiaheng Liu, Ge Zhang, Wenhao Huang, Jason Eshraghian

cs.AI

Аннотация

Крупные языковые модели (LLM) продемонстрировали впечатляющие способности к рассуждению, особенно при использовании явного цепочечного рассуждения (CoT), которое вербализует промежуточные шаги. Хотя CoT улучшает как интерпретируемость, так и точность, его зависимость от естественного языка ограничивает пропускную способность модели. Латентное рассуждение решает эту проблему, выполняя многошаговый вывод полностью в непрерывном скрытом состоянии модели, устраняя необходимость в пошаговом контроле. Для продвижения исследований в области латентного рассуждения данный обзор предоставляет всесторонний обзор этой развивающейся области. Мы начинаем с рассмотрения фундаментальной роли слоев нейронных сетей как вычислительной основы для рассуждений, подчеркивая, как иерархические представления поддерживают сложные преобразования. Далее мы исследуем различные методологии латентного рассуждения, включая рекуррентные подходы на основе активаций, распространение скрытых состояний и стратегии тонкой настройки, которые сжимают или интериоризируют явные следы рассуждений. Наконец, мы обсуждаем передовые парадигмы, такие как латентное рассуждение бесконечной глубины с использованием маскированных диффузионных моделей, которые обеспечивают глобально согласованные и обратимые процессы рассуждения. Объединяя эти перспективы, мы стремимся прояснить концептуальный ландшафт латентного рассуждения и наметить будущие направления исследований на переднем крае когнитивных возможностей LLM. Связанный репозиторий GitHub, собирающий последние статьи и репозитории, доступен по адресу: https://github.com/multimodal-art-projection/LatentCoT-Horizon/.

English

Large Language Models (LLMs) have demonstrated impressive reasoning capabilities, especially when guided by explicit chain-of-thought (CoT) reasoning that verbalizes intermediate steps. While CoT improves both interpretability and accuracy, its dependence on natural language reasoning limits the model's expressive bandwidth. Latent reasoning tackles this bottleneck by performing multi-step inference entirely in the model's continuous hidden state, eliminating token-level supervision. To advance latent reasoning research, this survey provides a comprehensive overview of the emerging field of latent reasoning. We begin by examining the foundational role of neural network layers as the computational substrate for reasoning, highlighting how hierarchical representations support complex transformations. Next, we explore diverse latent reasoning methodologies, including activation-based recurrence, hidden state propagation, and fine-tuning strategies that compress or internalize explicit reasoning traces. Finally, we discuss advanced paradigms such as infinite-depth latent reasoning via masked diffusion models, which enable globally consistent and reversible reasoning processes. By unifying these perspectives, we aim to clarify the conceptual landscape of latent reasoning and chart future directions for research at the frontier of LLM cognition. An associated GitHub repository collecting the latest papers and repos is available at: https://github.com/multimodal-art-projection/LatentCoT-Horizon/.