Richtung System-2-Argumentation in LLMs: Lernen, wie man mit Meta-Gedankenketten denkt.

Towards System 2 Reasoning in LLMs: Learning How to Think With Meta Chain-of-Though

January 8, 2025

Autoren: Violet Xiang, Charlie Snell, Kanishk Gandhi, Alon Albalak, Anikait Singh, Chase Blagden, Duy Phung, Rafael Rafailov, Nathan Lile, Dakota Mahan, Louis Castricato, Jan-Philipp Franken, Nick Haber, Chelsea Finn

cs.AI

Zusammenfassung

Wir schlagen einen neuartigen Rahmen vor, Meta Chain-of-Thought (Meta-CoT), der das traditionelle Chain-of-Thought (CoT) erweitert, indem er das zugrunde liegende Denken explizit modelliert, das erforderlich ist, um zu einem bestimmten CoT zu gelangen. Wir präsentieren empirische Beweise von State-of-the-Art-Modellen, die Verhaltensweisen zeigen, die mit der kontextbezogenen Suche übereinstimmen, und untersuchen Methoden zur Erzeugung von Meta-CoT durch Prozessaufsicht, synthetische Datenerzeugung und Suchalgorithmen. Abschließend skizzieren wir eine konkrete Pipeline zur Schulung eines Modells zur Erzeugung von Meta-CoTs, die Instruktionstuning mit linearisierten Suchspuren und Verstärkungslernen nach dem Training integriert. Schließlich diskutieren wir offene Forschungsfragen, einschließlich Skalierungsgesetze, Verifiziererrollen und das Potenzial zur Entdeckung neuartiger Denkalgorithmien. Diese Arbeit liefert einen theoretischen und praktischen Fahrplan zur Ermöglichung von Meta-CoT in LLMs und ebnet den Weg für eine leistungsstärkere und menschenähnlichere Argumentation in der künstlichen Intelligenz.

English

We propose a novel framework, Meta Chain-of-Thought (Meta-CoT), which extends traditional Chain-of-Thought (CoT) by explicitly modeling the underlying reasoning required to arrive at a particular CoT. We present empirical evidence from state-of-the-art models exhibiting behaviors consistent with in-context search, and explore methods for producing Meta-CoT via process supervision, synthetic data generation, and search algorithms. Finally, we outline a concrete pipeline for training a model to produce Meta-CoTs, incorporating instruction tuning with linearized search traces and reinforcement learning post-training. Finally, we discuss open research questions, including scaling laws, verifier roles, and the potential for discovering novel reasoning algorithms. This work provides a theoretical and practical roadmap to enable Meta-CoT in LLMs, paving the way for more powerful and human-like reasoning in artificial intelligence.