OPE: Superando a Saturação de Informações no Pensamento Paralelo por meio da Exploração de Caminhos Guiada por Esboços
OPE: Overcoming Information Saturation in Parallel Thinking via Outline-Guided Path Exploration
February 9, 2026
Autores: Qi Guo, Jianing Wang, Deyang Kong, Xiangyu Xi, Jianfei Zhang, Yi Lu, Jingang Wang, Wei Wang, Shikun Zhang, Wei Ye
cs.AI
Resumo
O pensamento paralelo emergiu como um novo paradigma para grandes modelos de raciocínio (LRMs) na resolução de problemas complexos. Métodos recentes utilizam Aprendizagem por Reforço (RL) para aprimorar o pensamento paralelo, visando superar as limitações de recursos computacionais e eficácia encontradas com o ajuste fino supervisionado. No entanto, a maioria dos estudos existentes concentra-se principalmente na otimização da fase de agregação, com atenção limitada ao estágio de exploração de caminhos. Neste artigo, analisamos teoricamente a otimização do pensamento paralelo no contexto de Aprendizagem por Reforço com Recompensas Verificáveis (RLVR), e identificamos que o gargalo de informação mútua entre os caminhos de exploração restringe fundamentalmente o desempenho geral. Para resolver isso, propomos a Exploração de Caminhos Guiada por Esboço (OPE), que particiona explicitamente o espaço de soluções através da geração de esboços de raciocínio diversos antes do raciocínio paralelo de caminhos, reduzindo assim a redundância de informação e melhorando a diversidade de informação capturada entre os caminhos de exploração. Implementamos a OPE com uma estratégia iterativa de RL que otimiza o planeamento de esboços e o raciocínio guiado por esboço de forma independente. Extensos experimentos em múltiplos benchmarks matemáticos desafiadores demonstram que a OPE melhora efetivamente o desempenho do raciocínio em diferentes estratégias de agregação, permitindo que os LRMs descubram soluções corretas de forma mais confiável.
English
Parallel thinking has emerged as a new paradigm for large reasoning models (LRMs) in tackling complex problems. Recent methods leverage Reinforcement Learning (RL) to enhance parallel thinking, aiming to address the limitations in computational resources and effectiveness encountered with supervised fine-tuning. However, most existing studies primarily focus on optimizing the aggregation phase, with limited attention to the path exploration stage. In this paper, we theoretically analyze the optimization of parallel thinking under the Reinforcement Learning with Verifiable Rewards (RLVR) setting, and identify that the mutual information bottleneck among exploration paths fundamentally restricts overall performance. To address this, we propose Outline-Guided Path Exploration (OPE), which explicitly partitions the solution space by generating diverse reasoning outlines prior to parallel path reasoning, thereby reducing information redundancy and improving the diversity of information captured across exploration paths. We implement OPE with an iterative RL strategy that optimizes outline planning and outline-guided reasoning independently. Extensive experiments across multiple challenging mathematical benchmarks demonstrate that OPE effectively improves reasoning performance in different aggregation strategies, enabling LRMs to more reliably discover correct solutions.