Modelos de Linguagem de Raciocínio: Um Roteiro

Reasoning Language Models: A Blueprint

January 20, 2025

Autores: Maciej Besta, Julia Barth, Eric Schreiber, Ales Kubicek, Afonso Catarino, Robert Gerstenberger, Piotr Nyczyk, Patrick Iff, Yueling Li, Sam Houliston, Tomasz Sternal, Marcin Copik, Grzegorz Kwaśniewski, Jürgen Müller, Łukasz Flis, Hannes Eberhard, Hubert Niewiadomski, Torsten Hoefler

cs.AI

Resumo

Modelos de linguagem de raciocínio (RLMs), também conhecidos como Modelos de Raciocínio Avançados (LRMs), como o o1 e o3 da OpenAI, DeepSeek-V3 e QwQ da Alibaba, redefiniram as capacidades de resolução de problemas da IA ao estenderem modelos de linguagem grandes (LLMs) com mecanismos avançados de raciocínio. No entanto, seus altos custos, natureza proprietária e arquiteturas complexas - combinando de forma única Aprendizado por Reforço (RL), heurísticas de busca e LLMs - apresentam desafios de acessibilidade e escalabilidade. Para abordar esses desafios, propomos um plano abrangente que organiza os componentes de RLM em um framework modular, com base em uma pesquisa e análise de todos os trabalhos de RLM. Este plano incorpora diversas estruturas de raciocínio (cadeias, árvores, grafos e formas aninhadas), estratégias de raciocínio (por exemplo, Monte Carlo Tree Search, Beam Search), conceitos de RL (modelos de política, de valor e outros) e esquemas de supervisão (Supervisão Baseada na Saída e Baseada no Processo). Também fornecemos formulações matemáticas detalhadas e especificações algorítmicas para simplificar a implementação de RLM. Ao mostrar como esquemas como LLaMA-Berry, QwQ, Journey Learning e Graph of Thoughts se encaixam como casos especiais, demonstramos a versatilidade e potencial unificador do plano. Para ilustrar sua utilidade, introduzimos x1, uma implementação modular para prototipagem e experimentação rápida de RLM. Usando x1 e uma revisão da literatura, fornecemos insights importantes, como treinamento em fases múltiplas para modelos de política e de valor, e a importância de distribuições de treinamento familiares. Por fim, delineamos como os RLMs podem se integrar a um ecossistema mais amplo de LLMs, incluindo ferramentas e bancos de dados. Nosso trabalho desmistifica a construção de RLMs, democratiza capacidades avançadas de raciocínio e fomenta a inovação, com o objetivo de mitigar a lacuna entre "IA rica" e "IA pobre" ao reduzir as barreiras para o desenvolvimento e experimentação de RLMs.

English

Reasoning language models (RLMs), also known as Large Reasoning Models (LRMs), such as OpenAI's o1 and o3, DeepSeek-V3, and Alibaba's QwQ, have redefined AI's problem-solving capabilities by extending large language models (LLMs) with advanced reasoning mechanisms. Yet, their high costs, proprietary nature, and complex architectures - uniquely combining Reinforcement Learning (RL), search heuristics, and LLMs - present accessibility and scalability challenges. To address these, we propose a comprehensive blueprint that organizes RLM components into a modular framework, based on a survey and analysis of all RLM works. This blueprint incorporates diverse reasoning structures (chains, trees, graphs, and nested forms), reasoning strategies (e.g., Monte Carlo Tree Search, Beam Search), RL concepts (policy, value models and others), and supervision schemes (Output-Based and Process-Based Supervision). We also provide detailed mathematical formulations and algorithmic specifications to simplify RLM implementation. By showing how schemes like LLaMA-Berry, QwQ, Journey Learning, and Graph of Thoughts fit as special cases, we demonstrate the blueprint's versatility and unifying potential. To illustrate its utility, we introduce x1, a modular implementation for rapid RLM prototyping and experimentation. Using x1 and a literature review, we provide key insights, such as multi-phase training for policy and value models, and the importance of familiar training distributions. Finally, we outline how RLMs can integrate with a broader LLM ecosystem, including tools and databases. Our work demystifies RLM construction, democratizes advanced reasoning capabilities, and fosters innovation, aiming to mitigate the gap between "rich AI" and "poor AI" by lowering barriers to RLM development and experimentation.