OPE: Het overwinnen van informatiesaturatie in parallel denken via overzicht-gestuurde padverkenning
OPE: Overcoming Information Saturation in Parallel Thinking via Outline-Guided Path Exploration
February 9, 2026
Auteurs: Qi Guo, Jianing Wang, Deyang Kong, Xiangyu Xi, Jianfei Zhang, Yi Lu, Jingang Wang, Wei Wang, Shikun Zhang, Wei Ye
cs.AI
Samenvatting
Parallel denken is naar voren gekomen als een nieuw paradigma voor grote redeneermodellen (LRM's) bij het aanpakken van complexe problemen. Recente methoden maken gebruik van Reinforcement Learning (RL) om parallel denken te verbeteren, met als doel de beperkingen in rekenresources en effectiviteit van supervised fine-tuning te ondervangen. Echter, de meeste bestaande onderzoeken richten zich voornamelijk op het optimaliseren van de aggregatiefase, met beperkte aandacht voor de verkenning van redeneerpaden. In dit artikel analyseren we theoretisch de optimalisatie van parallel denken onder de Reinforcement Learning with Verifiable Rewards (RLVR) setting, en stellen vast dat de mutual information bottleneck tussen verkenningpaden de algehele prestatie fundamenteel beperkt. Om dit aan te pakken, stellen we Outline-Guided Path Exploration (OPE) voor, die de oplossingsruimte expliciet partitioneert door eerst diverse redeneerschema's te genereren alvorens tot parallelle padredenering over te gaan, waardoor informatie-redundantie wordt verminderd en de diversiteit van de vastgelegde informatie over verkenningpaden verbetert. We implementeren OPE met een iteratieve RL-strategie die het plannen van redeneerschema's en schema-gestuurd redeneren onafhankelijk optimaliseert. Uitgebreide experimenten op meerdere uitdagende wiskundige benchmarks tonen aan dat OPE de redeneerprestaties effectief verbetert bij verschillende aggregatiestrategieën, waardoor LRM's correcte oplossingen betrouwbaarder kunnen ontdekken.
English
Parallel thinking has emerged as a new paradigm for large reasoning models (LRMs) in tackling complex problems. Recent methods leverage Reinforcement Learning (RL) to enhance parallel thinking, aiming to address the limitations in computational resources and effectiveness encountered with supervised fine-tuning. However, most existing studies primarily focus on optimizing the aggregation phase, with limited attention to the path exploration stage. In this paper, we theoretically analyze the optimization of parallel thinking under the Reinforcement Learning with Verifiable Rewards (RLVR) setting, and identify that the mutual information bottleneck among exploration paths fundamentally restricts overall performance. To address this, we propose Outline-Guided Path Exploration (OPE), which explicitly partitions the solution space by generating diverse reasoning outlines prior to parallel path reasoning, thereby reducing information redundancy and improving the diversity of information captured across exploration paths. We implement OPE with an iterative RL strategy that optimizes outline planning and outline-guided reasoning independently. Extensive experiments across multiple challenging mathematical benchmarks demonstrate that OPE effectively improves reasoning performance in different aggregation strategies, enabling LRMs to more reliably discover correct solutions.