Vers un raisonnement de Système 2 dans les LLM : Apprendre à Penser Avec la Méta Chaîne de Pensée

Towards System 2 Reasoning in LLMs: Learning How to Think With Meta Chain-of-Though

January 8, 2025

Auteurs: Violet Xiang, Charlie Snell, Kanishk Gandhi, Alon Albalak, Anikait Singh, Chase Blagden, Duy Phung, Rafael Rafailov, Nathan Lile, Dakota Mahan, Louis Castricato, Jan-Philipp Franken, Nick Haber, Chelsea Finn

cs.AI

Résumé

Nous proposons un nouveau cadre, Meta Chaîne-de-Pensée (Meta-CoT), qui étend la Chaîne-de-Pensée traditionnelle (CoT) en modélisant explicitement le raisonnement sous-jacent nécessaire pour parvenir à une CoT particulière. Nous présentons des preuves empiriques issues de modèles de pointe exhibant des comportements cohérents avec la recherche en contexte, et explorons des méthodes pour produire des Meta-CoT via la supervision de processus, la génération de données synthétiques et des algorithmes de recherche. Enfin, nous décrivons un pipeline concret pour entraîner un modèle à produire des Meta-CoTs, en intégrant un réglage d'instructions avec des traces de recherche linéarisées et un renforcement de l'apprentissage post-entraînement. Enfin, nous discutons des questions de recherche ouvertes, y compris les lois d'échelle, les rôles des vérificateurs et le potentiel de découverte de nouveaux algorithmes de raisonnement. Ce travail fournit une feuille de route théorique et pratique pour permettre le Meta-CoT dans les LLMs, ouvrant la voie à un raisonnement plus puissant et plus humain en intelligence artificielle.

English

We propose a novel framework, Meta Chain-of-Thought (Meta-CoT), which extends traditional Chain-of-Thought (CoT) by explicitly modeling the underlying reasoning required to arrive at a particular CoT. We present empirical evidence from state-of-the-art models exhibiting behaviors consistent with in-context search, and explore methods for producing Meta-CoT via process supervision, synthetic data generation, and search algorithms. Finally, we outline a concrete pipeline for training a model to produce Meta-CoTs, incorporating instruction tuning with linearized search traces and reinforcement learning post-training. Finally, we discuss open research questions, including scaling laws, verifier roles, and the potential for discovering novel reasoning algorithms. This work provides a theoretical and practical roadmap to enable Meta-CoT in LLMs, paving the way for more powerful and human-like reasoning in artificial intelligence.