Raciocínio Intercalado para Modelos de Linguagem de Grande Escala via Aprendizado por Reforço

Interleaved Reasoning for Large Language Models via Reinforcement Learning

May 26, 2025

Autores: Roy Xie, David Qiu, Deepak Gopinath, Dong Lin, Yanchao Sun, Chong Wang, Saloni Potdar, Bhuwan Dhingra

cs.AI

Resumo

Cadeias longas de pensamento (CoT) melhoram significativamente as capacidades de raciocínio de grandes modelos de linguagem (LLM). No entanto, os extensos rastros de raciocínio levam a ineficiências e a um aumento no tempo para o primeiro token (TTFT). Propomos um novo paradigma de treinamento que utiliza aprendizado por reforço (RL) para guiar modelos de raciocínio a intercalar pensamento e resposta para perguntas de múltiplos saltos. Observamos que os modelos possuem inerentemente a capacidade de realizar raciocínio intercalado, que pode ser aprimorado ainda mais por meio de RL. Introduzimos uma recompensa baseada em regras simples, porém eficaz, para incentivar etapas intermediárias corretas, o que guia o modelo de política em direção a caminhos de raciocínio corretos, aproveitando sinais intermediários gerados durante o raciocínio intercalado. Experimentos extensos realizados em cinco conjuntos de dados diversos e três algoritmos de RL (PPO, GRPO e REINFORCE++) demonstram melhorias consistentes em relação ao raciocínio tradicional de pensar-responder, sem a necessidade de ferramentas externas. Especificamente, nossa abordagem reduz o TTFT em mais de 80% em média e melhora até 19,3% na precisão Pass@1. Além disso, nosso método, treinado exclusivamente em conjuntos de dados de resposta a perguntas e raciocínio lógico, exibe forte capacidade de generalização para conjuntos de dados de raciocínio complexo, como MATH, GPQA e MMLU. Adicionalmente, realizamos uma análise aprofundada para revelar várias percepções valiosas sobre a modelagem de recompensas condicionais.

English

Long chain-of-thought (CoT) significantly enhances large language models' (LLM) reasoning capabilities. However, the extensive reasoning traces lead to inefficiencies and an increased time-to-first-token (TTFT). We propose a novel training paradigm that uses reinforcement learning (RL) to guide reasoning LLMs to interleave thinking and answering for multi-hop questions. We observe that models inherently possess the ability to perform interleaved reasoning, which can be further enhanced through RL. We introduce a simple yet effective rule-based reward to incentivize correct intermediate steps, which guides the policy model toward correct reasoning paths by leveraging intermediate signals generated during interleaved reasoning. Extensive experiments conducted across five diverse datasets and three RL algorithms (PPO, GRPO, and REINFORCE++) demonstrate consistent improvements over traditional think-answer reasoning, without requiring external tools. Specifically, our approach reduces TTFT by over 80% on average and improves up to 19.3% in Pass@1 accuracy. Furthermore, our method, trained solely on question answering and logical reasoning datasets, exhibits strong generalization ability to complex reasoning datasets such as MATH, GPQA, and MMLU. Additionally, we conduct in-depth analysis to reveal several valuable insights into conditional reward modeling.