OPE: Преодоление информационной насыщенности в параллельном мышлении с помощью исследования путей на основе структуры

OPE: Overcoming Information Saturation in Parallel Thinking via Outline-Guided Path Exploration

February 9, 2026

Авторы: Qi Guo, Jianing Wang, Deyang Kong, Xiangyu Xi, Jianfei Zhang, Yi Lu, Jingang Wang, Wei Wang, Shikun Zhang, Wei Ye

cs.AI

Аннотация

Параллельное мышление стало новой парадигмой для больших моделей рассуждений (LRM) при решении сложных задач. Современные методы используют обучение с подкреплением (RL) для улучшения параллельного мышления, стремясь преодолеть ограничения вычислительных ресурсов и эффективности, характерные для контролируемого тонкого настройки. Однако большинство существующих исследований в основном сосредоточены на оптимизации фазы агрегации, уделяя недостаточно внимания этапу исследования путей. В данной статье мы проводим теоретический анализ оптимизации параллельного мышления в условиях обучения с подкреплением с верифицируемыми вознаграждениями (RLVR) и выявляем, что узкое место взаимной информации между путями исследования фундаментально ограничивает общую производительность. Для решения этой проблемы мы предлагаем Исследование путей с управлением по контуру (OPE), которое явно разделяет пространство решений путем генерации разнообразных контуров рассуждений до параллельного логического вывода, тем самым снижая избыточность информации и повышая разнообразие захватываемой информации на различных путях исследования. Мы реализуем OPE с помощью итеративной RL-стратегии, которая независимо оптимизирует планирование контуров и контурно-управляемое рассуждение. Многочисленные эксперименты на нескольких сложных математических тестовых наборах демонстрируют, что OPE эффективно повышает производительность рассуждений при различных стратегиях агрегации, позволяя LRM более надежно находить правильные решения.

English

Parallel thinking has emerged as a new paradigm for large reasoning models (LRMs) in tackling complex problems. Recent methods leverage Reinforcement Learning (RL) to enhance parallel thinking, aiming to address the limitations in computational resources and effectiveness encountered with supervised fine-tuning. However, most existing studies primarily focus on optimizing the aggregation phase, with limited attention to the path exploration stage. In this paper, we theoretically analyze the optimization of parallel thinking under the Reinforcement Learning with Verifiable Rewards (RLVR) setting, and identify that the mutual information bottleneck among exploration paths fundamentally restricts overall performance. To address this, we propose Outline-Guided Path Exploration (OPE), which explicitly partitions the solution space by generating diverse reasoning outlines prior to parallel path reasoning, thereby reducing information redundancy and improving the diversity of information captured across exploration paths. We implement OPE with an iterative RL strategy that optimizes outline planning and outline-guided reasoning independently. Extensive experiments across multiple challenging mathematical benchmarks demonstrate that OPE effectively improves reasoning performance in different aggregation strategies, enabling LRMs to more reliably discover correct solutions.