Modèles de langage de raisonnement : un plan directeur

Reasoning Language Models: A Blueprint

January 20, 2025

Auteurs: Maciej Besta, Julia Barth, Eric Schreiber, Ales Kubicek, Afonso Catarino, Robert Gerstenberger, Piotr Nyczyk, Patrick Iff, Yueling Li, Sam Houliston, Tomasz Sternal, Marcin Copik, Grzegorz Kwaśniewski, Jürgen Müller, Łukasz Flis, Hannes Eberhard, Hubert Niewiadomski, Torsten Hoefler

cs.AI

Résumé

Les modèles de langage de raisonnement (RLM), également connus sous le nom de grands modèles de raisonnement (LRM), tels que o1 et o3 d'OpenAI, DeepSeek-V3 et QwQ d'Alibaba, ont redéfini les capacités de résolution de problèmes de l'IA en étendant les grands modèles de langage (LLM) avec des mécanismes de raisonnement avancés. Cependant, leurs coûts élevés, leur nature propriétaire et leurs architectures complexes - combinant de manière unique l'apprentissage par renforcement (RL), des heuristiques de recherche et des LLM - présentent des défis en termes d'accessibilité et de scalabilité. Pour y remédier, nous proposons un plan détaillé qui organise les composants des RLM dans un cadre modulaire, basé sur une enquête et une analyse de tous les travaux sur les RLM. Ce plan intègre diverses structures de raisonnement (chaînes, arbres, graphes et formes imbriquées), des stratégies de raisonnement (par exemple, Monte Carlo Tree Search, Beam Search), des concepts de RL (modèles de politique, de valeur et autres) et des schémas de supervision (supervision basée sur la sortie et basée sur le processus). Nous fournissons également des formulations mathématiques détaillées et des spécifications algorithmiques pour simplifier la mise en œuvre des RLM. En montrant comment des schémas comme LLaMA-Berry, QwQ, Journey Learning et Graph of Thoughts s'intègrent en tant que cas spéciaux, nous démontrons la polyvalence et le potentiel unificateur du plan. Pour illustrer son utilité, nous présentons x1, une implémentation modulaire pour un prototypage et une expérimentation rapides des RLM. En utilisant x1 et une revue de la littérature, nous fournissons des idées clés, telles que l'entraînement en plusieurs phases pour les modèles de politique et de valeur, et l'importance des distributions d'entraînement familières. Enfin, nous décrivons comment les RLM peuvent s'intégrer dans un écosystème LLM plus large, y compris des outils et des bases de données. Notre travail démystifie la construction des RLM, démocratise les capacités de raisonnement avancées et favorise l'innovation, visant à atténuer l'écart entre l'IA "riche" et l'IA "pauvre" en réduisant les obstacles au développement et à l'expérimentation des RLM.

English

Reasoning language models (RLMs), also known as Large Reasoning Models (LRMs), such as OpenAI's o1 and o3, DeepSeek-V3, and Alibaba's QwQ, have redefined AI's problem-solving capabilities by extending large language models (LLMs) with advanced reasoning mechanisms. Yet, their high costs, proprietary nature, and complex architectures - uniquely combining Reinforcement Learning (RL), search heuristics, and LLMs - present accessibility and scalability challenges. To address these, we propose a comprehensive blueprint that organizes RLM components into a modular framework, based on a survey and analysis of all RLM works. This blueprint incorporates diverse reasoning structures (chains, trees, graphs, and nested forms), reasoning strategies (e.g., Monte Carlo Tree Search, Beam Search), RL concepts (policy, value models and others), and supervision schemes (Output-Based and Process-Based Supervision). We also provide detailed mathematical formulations and algorithmic specifications to simplify RLM implementation. By showing how schemes like LLaMA-Berry, QwQ, Journey Learning, and Graph of Thoughts fit as special cases, we demonstrate the blueprint's versatility and unifying potential. To illustrate its utility, we introduce x1, a modular implementation for rapid RLM prototyping and experimentation. Using x1 and a literature review, we provide key insights, such as multi-phase training for policy and value models, and the importance of familiar training distributions. Finally, we outline how RLMs can integrate with a broader LLM ecosystem, including tools and databases. Our work demystifies RLM construction, democratizes advanced reasoning capabilities, and fosters innovation, aiming to mitigate the gap between "rich AI" and "poor AI" by lowering barriers to RLM development and experimentation.