К Системе 2 Рассуждений в LLMs: Изучение Как Думать С Мета Цепочкой Мыслей

Towards System 2 Reasoning in LLMs: Learning How to Think With Meta Chain-of-Though

January 8, 2025

Авторы: Violet Xiang, Charlie Snell, Kanishk Gandhi, Alon Albalak, Anikait Singh, Chase Blagden, Duy Phung, Rafael Rafailov, Nathan Lile, Dakota Mahan, Louis Castricato, Jan-Philipp Franken, Nick Haber, Chelsea Finn

cs.AI

Аннотация

Мы предлагаем новую концепцию, мета-цепочку мыслей (Meta-CoT), которая расширяет традиционную цепочку мыслей (CoT), явно моделируя базовое рассуждение, необходимое для формирования определенной CoT. Мы представляем эмпирические доказательства от современных моделей, демонстрирующих поведение, согласующееся с поиском в контексте, и исследуем методы создания Meta-CoT через процессное наблюдение, генерацию синтетических данных и алгоритмы поиска. Наконец, мы излагаем конкретный план обучения модели для создания Meta-CoTs, включая настройку инструкций с линеаризованными следами поиска и обучение с подкреплением после обучения. Наконец, мы обсуждаем открытые исследовательские вопросы, включая законы масштабирования, роли верификаторов и потенциал обнаружения новых алгоритмов рассуждения. Эта работа предоставляет теоретическую и практическую дорожную карту для внедрения Meta-CoT в LLMs, открывая путь к более мощному и человекоподобному рассуждению в искусственном интеллекте.

English

We propose a novel framework, Meta Chain-of-Thought (Meta-CoT), which extends traditional Chain-of-Thought (CoT) by explicitly modeling the underlying reasoning required to arrive at a particular CoT. We present empirical evidence from state-of-the-art models exhibiting behaviors consistent with in-context search, and explore methods for producing Meta-CoT via process supervision, synthetic data generation, and search algorithms. Finally, we outline a concrete pipeline for training a model to produce Meta-CoTs, incorporating instruction tuning with linearized search traces and reinforcement learning post-training. Finally, we discuss open research questions, including scaling laws, verifier roles, and the potential for discovering novel reasoning algorithms. This work provides a theoretical and practical roadmap to enable Meta-CoT in LLMs, paving the way for more powerful and human-like reasoning in artificial intelligence.