Training großer Sprachmodelle zum Schlussfolgern in einem kontinuierlichen latenten Raum.

Training Large Language Models to Reason in a Continuous Latent Space

December 9, 2024

Autoren: Shibo Hao, Sainbayar Sukhbaatar, DiJia Su, Xian Li, Zhiting Hu, Jason Weston, Yuandong Tian

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) sind darauf beschränkt, im "Sprachraum" zu argumentieren, wo sie typischerweise den Argumentationsprozess mit einer Gedankenkette (CoT) ausdrücken, um ein komplexes Argumentationsproblem zu lösen. Allerdings argumentieren wir, dass der Sprachraum nicht immer optimal für das Argumentieren sein könnte. Zum Beispiel dienen die meisten Worttoken hauptsächlich der textuellen Kohärenz und sind nicht wesentlich für das Argumentieren, während einige kritische Token komplexe Planung erfordern und große Herausforderungen für LLMs darstellen. Um das Potenzial des Argumentierens von LLMs in einem unbeschränkten latenten Raum anstelle der Verwendung natürlicher Sprache zu erkunden, führen wir ein neues Paradigma namens Coconut (Kette des kontinuierlichen Denkens) ein. Wir nutzen den letzten versteckten Zustand des LLM als Repräsentation des Argumentationszustands (bezeichnet als "kontinuierliches Denken"). Anstatt dies in ein Worttoken zu decodieren, führen wir es dem LLM als nachfolgendes Eingabeembedding direkt im kontinuierlichen Raum zurück. Experimente zeigen, dass Coconut die Leistung des LLM bei mehreren Argumentationsaufgaben effektiv verbessern kann. Dieses neuartige latente Argumentationsparadigma führt zu aufkommenden fortgeschrittenen Argumentationsmustern: Das kontinuierliche Denken kann mehrere alternative nächste Argumentationsschritte codieren, was dem Modell ermöglicht, eine Breitensuche (BFS) zur Problemlösung durchzuführen, anstatt sich frühzeitig auf einen einzigen deterministischen Pfad wie CoT festzulegen. Coconut übertrifft CoT bei bestimmten logischen Argumentationsaufgaben, die während der Planung erhebliches Backtracking erfordern, mit weniger Denk-Tokens während der Inferenz. Diese Ergebnisse zeigen das Potenzial des latenten Argumentierens auf und bieten wertvolle Einblicke für zukünftige Forschung.

English

Large language models (LLMs) are restricted to reason in the "language space", where they typically express the reasoning process with a chain-of-thought (CoT) to solve a complex reasoning problem. However, we argue that language space may not always be optimal for reasoning. For example, most word tokens are primarily for textual coherence and not essential for reasoning, while some critical tokens require complex planning and pose huge challenges to LLMs. To explore the potential of LLM reasoning in an unrestricted latent space instead of using natural language, we introduce a new paradigm Coconut (Chain of Continuous Thought). We utilize the last hidden state of the LLM as a representation of the reasoning state (termed "continuous thought"). Rather than decoding this into a word token, we feed it back to the LLM as the subsequent input embedding directly in the continuous space. Experiments show that Coconut can effectively augment the LLM on several reasoning tasks. This novel latent reasoning paradigm leads to emergent advanced reasoning patterns: the continuous thought can encode multiple alternative next reasoning steps, allowing the model to perform a breadth-first search (BFS) to solve the problem, rather than prematurely committing to a single deterministic path like CoT. Coconut outperforms CoT in certain logical reasoning tasks that require substantial backtracking during planning, with fewer thinking tokens during inference. These findings demonstrate the promise of latent reasoning and offer valuable insights for future research.