パラレルプローブ：2次元プロービングによる効率的な並列思考の実現に向けて

要旨

並列思考は有望な推論パラダイムとして登場したが、大きな計算負荷を課すという課題がある。既存の効率化手法は主に局所的で軌道単位の信号に依存しており、並列分岐間の大域的動態を活用する原理的なメカニズムを欠いている。本論文では、2Dプロービングを提案する。これは全ての分岐から定期的に中間回答を抽出することで、並列思考の「幅-深さ」動態を可視化するインターフェースである。分析により、三つの重要な知見が明らかになった：幅-深さの配分における非単調なスケーリング特性、異種混合的な推論分岐長、そして大域的合意の早期安定化である。これらの知見に基づき、訓練を必要とせず、オンラインでの並列思考を最適化するコントローラであるParallel-Probeを提案する。Parallel-Probeは、合意に基づく早期打ち切りにより推論の深さを制御し、偏差に基づく分岐刈り込みにより動的に幅を調整する。3つのベンチマークと複数モデルによる大規模な実験により、Parallel-Probeがテスト時のスケーリングにおいて優れたパレートフロンティアを確立することを実証した。標準的な多数決ベースラインと比較して、競合する精度を維持しつつ、逐次トークン数を最大35.8%、総トークンコストを25.8%以上削減することに成功した。

English

Parallel thinking has emerged as a promising paradigm for reasoning, yet it imposes significant computational burdens. Existing efficiency methods primarily rely on local, per-trajectory signals and lack principled mechanisms to exploit global dynamics across parallel branches. We introduce 2D probing, an interface that exposes the width-depth dynamics of parallel thinking by periodically eliciting intermediate answers from all branches. Our analysis reveals three key insights: non-monotonic scaling across width-depth allocations, heterogeneous reasoning branch lengths, and early stabilization of global consensus. Guided by these insights, we introduce Parallel-Probe, a training-free controller designed to optimize online parallel thinking. Parallel-Probe employs consensus-based early stopping to regulate reasoning depth and deviation-based branch pruning to dynamically adjust width. Extensive experiments across three benchmarks and multiple models demonstrate that Parallel-Probe establishes a superior Pareto frontier for test-time scaling. Compared to standard majority voting, it reduces sequential tokens by up to 35.8% and total token cost by over 25.8% while maintaining competitive accuracy.

パラレルプローブ：2次元プロービングによる効率的な並列思考の実現に向けて

Parallel-Probe: Towards Efficient Parallel Thinking via 2D Probing

要旨

Support