Обучение больших языковых моделей для рассуждений в непрерывном латентном пространстве

Training Large Language Models to Reason in a Continuous Latent Space

December 9, 2024

Авторы: Shibo Hao, Sainbayar Sukhbaatar, DiJia Su, Xian Li, Zhiting Hu, Jason Weston, Yuandong Tian

cs.AI

Аннотация

Большие языковые модели (LLM) ограничены возможностью рассуждать в "языковом пространстве", где они обычно выражают процесс рассуждения цепочкой мыслей (CoT) для решения сложной проблемы рассуждения. Однако мы утверждаем, что языковое пространство не всегда оптимально для рассуждения. Например, большинство словесных токенов предназначены в основном для текстовой связности и не являются существенными для рассуждения, в то время как некоторые критические токены требуют сложного планирования и представляют собой огромные вызовы для LLM. Для исследования потенциала рассуждения LLM в неограниченном латентном пространстве вместо использования естественного языка мы представляем новую парадигму Coconut (Цепочка Непрерывных Мыслей). Мы используем последнее скрытое состояние LLM в качестве представления состояния рассуждения (называемого "непрерывными мыслями"). Вместо декодирования этого в словесный токен мы подаем его обратно в LLM как встраивание последующего ввода напрямую в непрерывном пространстве. Эксперименты показывают, что Coconut может эффективно дополнять LLM на нескольких задачах рассуждения. Эта новая латентная парадигма рассуждения приводит к возникновению продвинутых шаблонов рассуждения: непрерывные мысли могут кодировать несколько альтернативных следующих шагов рассуждения, позволяя модели выполнять поиск в ширину (BFS) для решения проблемы, вместо преждевременного принятия решения о единственном детерминированном пути, как CoT. Coconut превосходит CoT в некоторых логических задачах рассуждения, требующих значительного возврата назад во время планирования, с меньшим количеством мысленных токенов во время вывода. Эти результаты демонстрируют перспективы латентного рассуждения и предлагают ценные идеи для будущих исследований.

English

Large language models (LLMs) are restricted to reason in the "language space", where they typically express the reasoning process with a chain-of-thought (CoT) to solve a complex reasoning problem. However, we argue that language space may not always be optimal for reasoning. For example, most word tokens are primarily for textual coherence and not essential for reasoning, while some critical tokens require complex planning and pose huge challenges to LLMs. To explore the potential of LLM reasoning in an unrestricted latent space instead of using natural language, we introduce a new paradigm Coconut (Chain of Continuous Thought). We utilize the last hidden state of the LLM as a representation of the reasoning state (termed "continuous thought"). Rather than decoding this into a word token, we feed it back to the LLM as the subsequent input embedding directly in the continuous space. Experiments show that Coconut can effectively augment the LLM on several reasoning tasks. This novel latent reasoning paradigm leads to emergent advanced reasoning patterns: the continuous thought can encode multiple alternative next reasoning steps, allowing the model to perform a breadth-first search (BFS) to solve the problem, rather than prematurely committing to a single deterministic path like CoT. Coconut outperforms CoT in certain logical reasoning tasks that require substantial backtracking during planning, with fewer thinking tokens during inference. These findings demonstrate the promise of latent reasoning and offer valuable insights for future research.