推論言語モデル：設計図

Reasoning Language Models: A Blueprint

January 20, 2025

著者: Maciej Besta, Julia Barth, Eric Schreiber, Ales Kubicek, Afonso Catarino, Robert Gerstenberger, Piotr Nyczyk, Patrick Iff, Yueling Li, Sam Houliston, Tomasz Sternal, Marcin Copik, Grzegorz Kwaśniewski, Jürgen Müller, Łukasz Flis, Hannes Eberhard, Hubert Niewiadomski, Torsten Hoefler

cs.AI

要旨

推論言語モデル（RLM）、またはLarge Reasoning Models（LRMs）としても知られるOpenAIのo1およびo3、DeepSeek-V3、AlibabaのQwQなどのようなモデルは、高度な推論メカニズムを備えた大規模言語モデル（LLMs）を拡張することで、AIの問題解決能力を再定義しています。しかし、これらのモデルは高コスト、独自性、複雑なアーキテクチャ（強化学習、探索ヒューリスティクス、LLMsの組み合わせ）により、アクセシビリティとスケーラビリティの課題があります。これらに対処するために、我々はRLMコンポーネントをモジュラーフレームワークに整理する包括的な設計図を提案します。これは、すべてのRLM作業の調査と分析に基づいており、多様な推論構造（チェーン、木、グラフ、およびネスト形式）、推論戦略（例：モンテカルロ木探索、ビーム探索）、RLの概念（ポリシー、価値モデルなど）、および監督スキーム（出力ベースおよびプロセスベースの監督）を組み込んでいます。また、RLMの実装を簡素化するための詳細な数学的定式化とアルゴリズム仕様も提供しています。LLaMA-Berry、QwQ、Journey Learning、Thoughtsのグラフなどのスキームが特殊なケースとしてどのように適合するかを示すことで、設計図の柔軟性と統一性を実証しています。その有用性を示すために、迅速なRLMプロトタイピングと実験のためのモジュラー実装であるx1を紹介します。x1と文献レビューを使用して、ポリシーと価値モデルのための多段階トレーニングや、トレーニング分布の理解の重要性など、重要な洞察を提供しています。最後に、ツールやデータベースを含む広範なLLMエコシステムとの統合方法について概説します。我々の研究はRLMの構築を解明し、高度な推論能力を民主化し、革新を促進し、RLMの開発と実験の障壁を下げることで、「豊かなAI」と「貧しいAI」の間のギャップを緩和することを目指しています。

English

Reasoning language models (RLMs), also known as Large Reasoning Models (LRMs), such as OpenAI's o1 and o3, DeepSeek-V3, and Alibaba's QwQ, have redefined AI's problem-solving capabilities by extending large language models (LLMs) with advanced reasoning mechanisms. Yet, their high costs, proprietary nature, and complex architectures - uniquely combining Reinforcement Learning (RL), search heuristics, and LLMs - present accessibility and scalability challenges. To address these, we propose a comprehensive blueprint that organizes RLM components into a modular framework, based on a survey and analysis of all RLM works. This blueprint incorporates diverse reasoning structures (chains, trees, graphs, and nested forms), reasoning strategies (e.g., Monte Carlo Tree Search, Beam Search), RL concepts (policy, value models and others), and supervision schemes (Output-Based and Process-Based Supervision). We also provide detailed mathematical formulations and algorithmic specifications to simplify RLM implementation. By showing how schemes like LLaMA-Berry, QwQ, Journey Learning, and Graph of Thoughts fit as special cases, we demonstrate the blueprint's versatility and unifying potential. To illustrate its utility, we introduce x1, a modular implementation for rapid RLM prototyping and experimentation. Using x1 and a literature review, we provide key insights, such as multi-phase training for policy and value models, and the importance of familiar training distributions. Finally, we outline how RLMs can integrate with a broader LLM ecosystem, including tools and databases. Our work demystifies RLM construction, democratizes advanced reasoning capabilities, and fosters innovation, aiming to mitigate the gap between "rich AI" and "poor AI" by lowering barriers to RLM development and experimentation.