OPE : Surmonter la saturation informationnelle dans la pensée parallèle par l'exploration de chemins guidée par des plans
OPE: Overcoming Information Saturation in Parallel Thinking via Outline-Guided Path Exploration
February 9, 2026
papers.authors: Qi Guo, Jianing Wang, Deyang Kong, Xiangyu Xi, Jianfei Zhang, Yi Lu, Jingang Wang, Wei Wang, Shikun Zhang, Wei Ye
cs.AI
papers.abstract
La pensée parallèle est apparue comme un nouveau paradigme pour les grands modèles de raisonnement (LRM) dans la résolution de problèmes complexes. Les méthodes récentes exploitent l'apprentissage par renforcement (RL) pour améliorer cette pensée parallèle, visant à pallier les limitations en ressources computationnelles et en efficacité rencontrées avec le réglage fin supervisé. Cependant, la plupart des études existantes se concentrent principalement sur l'optimisation de la phase d'agrégation, accordant une attention limitée à l'étape d'exploration des chemins de raisonnement. Dans cet article, nous analysons théoriquement l'optimisation de la pensée parallèle dans le cadre de l'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR), et identifions que le goulot d'étranglement de l'information mutuelle entre les chemins d'exploration restreint fondamentalement les performances globales. Pour remédier à cela, nous proposons l'Exploration de Chemins Guidée par un Plan (OPE), qui partitionne explicitement l'espace des solutions en générant divers plans de raisonnement avant le raisonnement parallèle, réduisant ainsi la redondance informationnelle et améliorant la diversité des informations capturées à travers les chemins d'exploration. Nous implémentons OPE avec une stratégie de RL itérative qui optimise indépendamment la planification du plan et le raisonnement guidé par celui-ci. Des expériences approfondies sur plusieurs benchmarks mathématiques complexes démontrent qu'OPE améliore efficacement les performances de raisonnement avec différentes stratégies d'agrégation, permettant aux LRM de découvrir plus fiabilité les solutions correctes.
English
Parallel thinking has emerged as a new paradigm for large reasoning models (LRMs) in tackling complex problems. Recent methods leverage Reinforcement Learning (RL) to enhance parallel thinking, aiming to address the limitations in computational resources and effectiveness encountered with supervised fine-tuning. However, most existing studies primarily focus on optimizing the aggregation phase, with limited attention to the path exploration stage. In this paper, we theoretically analyze the optimization of parallel thinking under the Reinforcement Learning with Verifiable Rewards (RLVR) setting, and identify that the mutual information bottleneck among exploration paths fundamentally restricts overall performance. To address this, we propose Outline-Guided Path Exploration (OPE), which explicitly partitions the solution space by generating diverse reasoning outlines prior to parallel path reasoning, thereby reducing information redundancy and improving the diversity of information captured across exploration paths. We implement OPE with an iterative RL strategy that optimizes outline planning and outline-guided reasoning independently. Extensive experiments across multiple challenging mathematical benchmarks demonstrate that OPE effectively improves reasoning performance in different aggregation strategies, enabling LRMs to more reliably discover correct solutions.