Modelos de Lenguaje de Razonamiento: Un Esquema

Reasoning Language Models: A Blueprint

January 20, 2025

Autores: Maciej Besta, Julia Barth, Eric Schreiber, Ales Kubicek, Afonso Catarino, Robert Gerstenberger, Piotr Nyczyk, Patrick Iff, Yueling Li, Sam Houliston, Tomasz Sternal, Marcin Copik, Grzegorz Kwaśniewski, Jürgen Müller, Łukasz Flis, Hannes Eberhard, Hubert Niewiadomski, Torsten Hoefler

cs.AI

Resumen

Los modelos de lenguaje de razonamiento (RLMs), también conocidos como Modelos de Razonamiento Amplios (LRMs), como o1 y o3 de OpenAI, DeepSeek-V3 y QwQ de Alibaba, han redefinido las capacidades de resolución de problemas de la IA al extender los grandes modelos de lenguaje (LLMs) con mecanismos avanzados de razonamiento. Sin embargo, sus altos costos, naturaleza propietaria y arquitecturas complejas, que combinan de manera única el Aprendizaje por Refuerzo (RL), heurísticas de búsqueda y LLMs, presentan desafíos de accesibilidad y escalabilidad. Para abordar estos desafíos, proponemos un plan integral que organiza los componentes de los RLM en un marco modular, basado en una encuesta y análisis de todos los trabajos de RLM. Este plan incorpora diversas estructuras de razonamiento (cadenas, árboles, grafos y formas anidadas), estrategias de razonamiento (por ejemplo, Búsqueda Monte Carlo Tree, Búsqueda Beam), conceptos de RL (modelos de política, de valor y otros) y esquemas de supervisión (Supervisión Basada en la Salida y Basada en el Proceso). También proporcionamos formulaciones matemáticas detalladas y especificaciones algorítmicas para simplificar la implementación de RLM. Al mostrar cómo esquemas como LLaMA-Berry, QwQ, Journey Learning y Graph of Thoughts encajan como casos especiales, demostramos la versatilidad y el potencial unificador del plan. Para ilustrar su utilidad, presentamos x1, una implementación modular para prototipado y experimentación rápida de RLM. Utilizando x1 y una revisión de la literatura, ofrecemos ideas clave, como el entrenamiento en fases múltiples para modelos de política y de valor, y la importancia de las distribuciones de entrenamiento familiares. Finalmente, delineamos cómo los RLMs pueden integrarse con un ecosistema LLM más amplio, incluyendo herramientas y bases de datos. Nuestro trabajo desmitifica la construcción de RLM, democratiza las capacidades avanzadas de razonamiento y fomenta la innovación, con el objetivo de mitigar la brecha entre la "IA rica" y la "IA pobre" al reducir las barreras para el desarrollo y experimentación de RLM.

English

Reasoning language models (RLMs), also known as Large Reasoning Models (LRMs), such as OpenAI's o1 and o3, DeepSeek-V3, and Alibaba's QwQ, have redefined AI's problem-solving capabilities by extending large language models (LLMs) with advanced reasoning mechanisms. Yet, their high costs, proprietary nature, and complex architectures - uniquely combining Reinforcement Learning (RL), search heuristics, and LLMs - present accessibility and scalability challenges. To address these, we propose a comprehensive blueprint that organizes RLM components into a modular framework, based on a survey and analysis of all RLM works. This blueprint incorporates diverse reasoning structures (chains, trees, graphs, and nested forms), reasoning strategies (e.g., Monte Carlo Tree Search, Beam Search), RL concepts (policy, value models and others), and supervision schemes (Output-Based and Process-Based Supervision). We also provide detailed mathematical formulations and algorithmic specifications to simplify RLM implementation. By showing how schemes like LLaMA-Berry, QwQ, Journey Learning, and Graph of Thoughts fit as special cases, we demonstrate the blueprint's versatility and unifying potential. To illustrate its utility, we introduce x1, a modular implementation for rapid RLM prototyping and experimentation. Using x1 and a literature review, we provide key insights, such as multi-phase training for policy and value models, and the importance of familiar training distributions. Finally, we outline how RLMs can integrate with a broader LLM ecosystem, including tools and databases. Our work demystifies RLM construction, democratizes advanced reasoning capabilities, and fosters innovation, aiming to mitigate the gap between "rich AI" and "poor AI" by lowering barriers to RLM development and experimentation.