Razonamiento Intercalado para Modelos de Lenguaje de Gran Escala mediante Aprendizaje por Refuerzo

Interleaved Reasoning for Large Language Models via Reinforcement Learning

May 26, 2025

Autores: Roy Xie, David Qiu, Deepak Gopinath, Dong Lin, Yanchao Sun, Chong Wang, Saloni Potdar, Bhuwan Dhingra

cs.AI

Resumen

La cadena de pensamiento extensa (CoT, por sus siglas en inglés) mejora significativamente las capacidades de razonamiento de los modelos de lenguaje de gran escala (LLM). Sin embargo, los extensos rastros de razonamiento generan ineficiencias y un aumento en el tiempo para el primer token (TTFT). Proponemos un nuevo paradigma de entrenamiento que utiliza aprendizaje por refuerzo (RL) para guiar a los modelos de razonamiento a intercalar el pensamiento y la respuesta en preguntas de múltiples saltos. Observamos que los modelos poseen inherentemente la capacidad de realizar razonamientos intercalados, la cual puede mejorarse aún más mediante RL. Introducimos una recompensa basada en reglas simple pero efectiva para incentivar pasos intermedios correctos, lo que guía al modelo de política hacia rutas de razonamiento correctas al aprovechar señales intermedias generadas durante el razonamiento intercalado. Experimentos exhaustivos realizados en cinco conjuntos de datos diversos y tres algoritmos de RL (PPO, GRPO y REINFORCE++) demuestran mejoras consistentes sobre el razonamiento tradicional de pensar-responder, sin requerir herramientas externas. Específicamente, nuestro enfoque reduce el TTFT en más del 80% en promedio y mejora hasta un 19.3% en la precisión Pass@1. Además, nuestro método, entrenado únicamente en conjuntos de datos de respuesta a preguntas y razonamiento lógico, exhibe una fuerte capacidad de generalización a conjuntos de datos de razonamiento complejo como MATH, GPQA y MMLU. Adicionalmente, realizamos un análisis en profundidad para revelar varias ideas valiosas sobre el modelado de recompensas condicionales.

English

Long chain-of-thought (CoT) significantly enhances large language models' (LLM) reasoning capabilities. However, the extensive reasoning traces lead to inefficiencies and an increased time-to-first-token (TTFT). We propose a novel training paradigm that uses reinforcement learning (RL) to guide reasoning LLMs to interleave thinking and answering for multi-hop questions. We observe that models inherently possess the ability to perform interleaved reasoning, which can be further enhanced through RL. We introduce a simple yet effective rule-based reward to incentivize correct intermediate steps, which guides the policy model toward correct reasoning paths by leveraging intermediate signals generated during interleaved reasoning. Extensive experiments conducted across five diverse datasets and three RL algorithms (PPO, GRPO, and REINFORCE++) demonstrate consistent improvements over traditional think-answer reasoning, without requiring external tools. Specifically, our approach reduces TTFT by over 80% on average and improves up to 19.3% in Pass@1 accuracy. Furthermore, our method, trained solely on question answering and logical reasoning datasets, exhibits strong generalization ability to complex reasoning datasets such as MATH, GPQA, and MMLU. Additionally, we conduct in-depth analysis to reveal several valuable insights into conditional reward modeling.