OPE: Superar la Saturación de Información en el Pensamiento Paralelo mediante la Exploración de Rutas Guiada por Esquemas
OPE: Overcoming Information Saturation in Parallel Thinking via Outline-Guided Path Exploration
February 9, 2026
Autores: Qi Guo, Jianing Wang, Deyang Kong, Xiangyu Xi, Jianfei Zhang, Yi Lu, Jingang Wang, Wei Wang, Shikun Zhang, Wei Ye
cs.AI
Resumen
El pensamiento paralelo ha surgido como un nuevo paradigma para los grandes modelos de razonamiento (LRM) en la resolución de problemas complejos. Métodos recientes utilizan el Aprendizaje por Refuerzo (RL) para mejorar el pensamiento paralelo, con el objetivo de abordar las limitaciones en recursos computacionales y efectividad encontradas con el ajuste fino supervisado. Sin embargo, la mayoría de los estudios existentes se centran principalmente en optimizar la fase de agregación, prestando una atención limitada a la etapa de exploración de caminos. En este artículo, analizamos teóricamente la optimización del pensamiento paralelo bajo el marco de Aprendizaje por Refuerzo con Recompensas Verificables (RLVR), e identificamos que el cuello de botella de información mutua entre los caminos de exploración restringe fundamentalmente el rendimiento general. Para abordar esto, proponemos la Exploración de Caminos Guiada por Esquemas (OPE), que divide explícitamente el espacio de soluciones generando diversos esquemas de razonamiento antes del razonamiento paralelo de caminos, reduciendo así la redundancia de información y mejorando la diversidad de la información capturada en los distintos caminos de exploración. Implementamos OPE con una estrategia de RL iterativa que optimiza de forma independiente la planificación de esquemas y el razonamiento guiado por esquemas. Experimentos exhaustivos en múltiples benchmarks matemáticos desafiantes demuestran que OPE mejora efectivamente el rendimiento del razonamiento en diferentes estrategias de agregación, permitiendo a los LRM descubrir soluciones correctas de manera más fiable.
English
Parallel thinking has emerged as a new paradigm for large reasoning models (LRMs) in tackling complex problems. Recent methods leverage Reinforcement Learning (RL) to enhance parallel thinking, aiming to address the limitations in computational resources and effectiveness encountered with supervised fine-tuning. However, most existing studies primarily focus on optimizing the aggregation phase, with limited attention to the path exploration stage. In this paper, we theoretically analyze the optimization of parallel thinking under the Reinforcement Learning with Verifiable Rewards (RLVR) setting, and identify that the mutual information bottleneck among exploration paths fundamentally restricts overall performance. To address this, we propose Outline-Guided Path Exploration (OPE), which explicitly partitions the solution space by generating diverse reasoning outlines prior to parallel path reasoning, thereby reducing information redundancy and improving the diversity of information captured across exploration paths. We implement OPE with an iterative RL strategy that optimizes outline planning and outline-guided reasoning independently. Extensive experiments across multiple challenging mathematical benchmarks demonstrate that OPE effectively improves reasoning performance in different aggregation strategies, enabling LRMs to more reliably discover correct solutions.