Переплетенное рассуждение для крупных языковых моделей с использованием обучения с подкреплением

Interleaved Reasoning for Large Language Models via Reinforcement Learning

May 26, 2025

Авторы: Roy Xie, David Qiu, Deepak Gopinath, Dong Lin, Yanchao Sun, Chong Wang, Saloni Potdar, Bhuwan Dhingra

cs.AI

Аннотация

Длинные цепочки рассуждений (CoT) значительно улучшают способность крупных языковых моделей (LLM) к логическому мышлению. Однако обширные траектории рассуждений приводят к неэффективности и увеличению времени до первого токена (TTFT). Мы предлагаем новую парадигму обучения, которая использует обучение с подкреплением (RL) для направления моделей рассуждений к чередованию мышления и ответов на многошаговые вопросы. Мы наблюдаем, что модели изначально обладают способностью выполнять чередующиеся рассуждения, которая может быть дополнительно улучшена с помощью RL. Мы вводим простое, но эффективное правило на основе вознаграждения для стимулирования правильных промежуточных шагов, что направляет модель политики на правильные пути рассуждений, используя промежуточные сигналы, генерируемые в процессе чередующихся рассуждений. Многочисленные эксперименты, проведенные на пяти различных наборах данных и с использованием трех алгоритмов RL (PPO, GRPO и REINFORCE++), демонстрируют устойчивые улучшения по сравнению с традиционным подходом "думай-отвечай", без необходимости использования внешних инструментов. В частности, наш подход сокращает TTFT в среднем более чем на 80% и улучшает точность Pass@1 до 19,3%. Более того, наш метод, обученный исключительно на наборах данных для ответов на вопросы и логических рассуждений, демонстрирует сильную способность к обобщению на сложные наборы данных, такие как MATH, GPQA и MMLU. Дополнительно мы проводим углубленный анализ, чтобы выявить несколько ценных инсайтов в области моделирования условных вознаграждений.

English

Long chain-of-thought (CoT) significantly enhances large language models' (LLM) reasoning capabilities. However, the extensive reasoning traces lead to inefficiencies and an increased time-to-first-token (TTFT). We propose a novel training paradigm that uses reinforcement learning (RL) to guide reasoning LLMs to interleave thinking and answering for multi-hop questions. We observe that models inherently possess the ability to perform interleaved reasoning, which can be further enhanced through RL. We introduce a simple yet effective rule-based reward to incentivize correct intermediate steps, which guides the policy model toward correct reasoning paths by leveraging intermediate signals generated during interleaved reasoning. Extensive experiments conducted across five diverse datasets and three RL algorithms (PPO, GRPO, and REINFORCE++) demonstrate consistent improvements over traditional think-answer reasoning, without requiring external tools. Specifically, our approach reduces TTFT by over 80% on average and improves up to 19.3% in Pass@1 accuracy. Furthermore, our method, trained solely on question answering and logical reasoning datasets, exhibits strong generalization ability to complex reasoning datasets such as MATH, GPQA, and MMLU. Additionally, we conduct in-depth analysis to reveal several valuable insights into conditional reward modeling.