Verschachteltes Schließen für große Sprachmodelle durch Verstärkungslernen

Interleaved Reasoning for Large Language Models via Reinforcement Learning

May 26, 2025

Autoren: Roy Xie, David Qiu, Deepak Gopinath, Dong Lin, Yanchao Sun, Chong Wang, Saloni Potdar, Bhuwan Dhingra

cs.AI

Zusammenfassung

Langkettige Denkprozesse (Chain-of-Thought, CoT) verbessern die Fähigkeiten großer Sprachmodelle (Large Language Models, LLM) zur logischen Schlussfolgerung erheblich. Die umfangreichen Denkspuren führen jedoch zu Ineffizienzen und einer erhöhten Zeit bis zum ersten Token (Time-to-First-Token, TTFT). Wir schlagen ein neuartiges Trainingsparadigma vor, das Verstärkungslernen (Reinforcement Learning, RL) nutzt, um LLMs bei der Bearbeitung von Multi-Hop-Fragen dazu anzuleiten, Denken und Antworten zu verschachteln. Wir beobachten, dass Modelle von Natur aus die Fähigkeit besitzen, verschachteltes Denken durchzuführen, was durch RL weiter verbessert werden kann. Wir führen eine einfache, aber effektive regelbasierte Belohnung ein, um korrekte Zwischenschritte zu fördern, wodurch das Policy-Modell durch die Nutzung von Zwischensignalen, die während des verschachtelten Denkens erzeugt werden, auf korrekte Denkpfade gelenkt wird. Umfangreiche Experimente, die über fünf verschiedene Datensätze und drei RL-Algorithmen (PPO, GRPO und REINFORCE++) durchgeführt wurden, zeigen konsistente Verbesserungen gegenüber dem traditionellen Denken-Antworten-Ansatz, ohne dass externe Tools erforderlich sind. Insbesondere reduziert unser Ansatz die TTFT im Durchschnitt um über 80 % und verbessert die Pass@1-Genauigkeit um bis zu 19,3 %. Darüber hinaus zeigt unsere Methode, die ausschließlich auf Frage-Antwort- und logischen Schlussfolgerungsdatensätzen trainiert wurde, eine starke Generalisierungsfähigkeit auf komplexe Schlussfolgerungsdatensätze wie MATH, GPQA und MMLU. Zusätzlich führen wir eine detaillierte Analyse durch, um mehrere wertvolle Erkenntnisse zur bedingten Belohnungsmodellierung zu gewinnen.

English

Long chain-of-thought (CoT) significantly enhances large language models' (LLM) reasoning capabilities. However, the extensive reasoning traces lead to inefficiencies and an increased time-to-first-token (TTFT). We propose a novel training paradigm that uses reinforcement learning (RL) to guide reasoning LLMs to interleave thinking and answering for multi-hop questions. We observe that models inherently possess the ability to perform interleaved reasoning, which can be further enhanced through RL. We introduce a simple yet effective rule-based reward to incentivize correct intermediate steps, which guides the policy model toward correct reasoning paths by leveraging intermediate signals generated during interleaved reasoning. Extensive experiments conducted across five diverse datasets and three RL algorithms (PPO, GRPO, and REINFORCE++) demonstrate consistent improvements over traditional think-answer reasoning, without requiring external tools. Specifically, our approach reduces TTFT by over 80% on average and improves up to 19.3% in Pass@1 accuracy. Furthermore, our method, trained solely on question answering and logical reasoning datasets, exhibits strong generalization ability to complex reasoning datasets such as MATH, GPQA, and MMLU. Additionally, we conduct in-depth analysis to reveal several valuable insights into conditional reward modeling.