OPE: Überwindung der Informationssättigung beim parallelen Denken durch gliederungsgesteuerte Pfaderkundung
OPE: Overcoming Information Saturation in Parallel Thinking via Outline-Guided Path Exploration
February 9, 2026
papers.authors: Qi Guo, Jianing Wang, Deyang Kong, Xiangyu Xi, Jianfei Zhang, Yi Lu, Jingang Wang, Wei Wang, Shikun Zhang, Wei Ye
cs.AI
papers.abstract
Paralleles Denken hat sich als neues Paradigma für große Reasoning-Modelle (LRMs) zur Bewältigung komplexer Probleme etabliert. Neuere Methoden nutzen Verstärkendes Lernen (Reinforcement Learning, RL), um das parallele Denken zu verbessern und damit die Grenzen von überwachtem Feinabstimmen hinsichtlich Rechenressourcen und Effektivität zu adressieren. Die meisten bestehenden Studien konzentrieren sich jedoch primär auf die Optimierung der Aggregationsphase, wobei der Pfaderkundungsphase nur begrenzte Aufmerksamkeit geschenkt wird. In diesem Artikel analysieren wir theoretisch die Optimierung des parallelen Denkens unter dem Rahmenwerk von Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) und identifizieren, dass ein Mutual-Information-Flaschenhals zwischen den Erkundungspfaden die Gesamtleistung grundlegend beschränkt. Um dieses Problem zu lösen, schlagen wir Outline-gesteuerte Pfaderkundung (OPE) vor, die den Lösungsraum explizit aufteilt, indem vor dem parallelen Pfad-Reasoning diverse Reasoning-Gliederungen generiert werden. Dadurch wird die Redundanz von Informationen verringert und die Vielfalt der erfassten Informationen über die Erkundungspfade hinweg verbessert. Wir implementieren OPE mit einer iterativen RL-Strategie, die die Gliederungsplanung und die gliederungsgesteuerte Reasoning unabhängig voneinander optimiert. Umfangreiche Experimente über mehrere anspruchsvolle mathematische Benchmarks hinweg demonstrieren, dass OPE die Reasoning-Leistung bei verschiedenen Aggregationsstrategien effektiv steigert und es LRMs ermöglicht, korrekte Lösungen zuverlässiger zu entdecken.
English
Parallel thinking has emerged as a new paradigm for large reasoning models (LRMs) in tackling complex problems. Recent methods leverage Reinforcement Learning (RL) to enhance parallel thinking, aiming to address the limitations in computational resources and effectiveness encountered with supervised fine-tuning. However, most existing studies primarily focus on optimizing the aggregation phase, with limited attention to the path exploration stage. In this paper, we theoretically analyze the optimization of parallel thinking under the Reinforcement Learning with Verifiable Rewards (RLVR) setting, and identify that the mutual information bottleneck among exploration paths fundamentally restricts overall performance. To address this, we propose Outline-Guided Path Exploration (OPE), which explicitly partitions the solution space by generating diverse reasoning outlines prior to parallel path reasoning, thereby reducing information redundancy and improving the diversity of information captured across exploration paths. We implement OPE with an iterative RL strategy that optimizes outline planning and outline-guided reasoning independently. Extensive experiments across multiple challenging mathematical benchmarks demonstrate that OPE effectively improves reasoning performance in different aggregation strategies, enabling LRMs to more reliably discover correct solutions.