Das Training von großen Sprachmodellen für Divide-and-Conquer-Reasoning verbessert die Skalierbarkeit zur Testzeit.

Training LLMs for Divide-and-Conquer Reasoning Elevates Test-Time Scalability

February 2, 2026

papers.authors: Xiao Liang, Zhong-Zhi Li, Zhenghao Lin, Eric Hancheng Jiang, Hengyuan Zhang, Yelong Shen, Kai-Wei Chang, Ying Nian Wu, Yeyun Gong, Weizhu Chen

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) haben durch schrittweise Chain-of-Thought (CoT)-Argumentation beeindruckende Fähigkeiten im logischen Denken demonstriert. Dennoch erweist sich CoT an den Grenzen der Modellfähigkeiten oft als unzureichend, und seine streng sequenzielle Natur schränkt die Skalierbarkeit zur Testzeit ein. Eine potenzielle Alternative ist Divide-and-Conquer (DAC)-Argumentation, die ein komplexes Problem in Teilprobleme zerlegt, um eine effektivere Lösungsfindung zu ermöglichen. Obwohl vielversprechend, zeigt unsere Analyse eine grundlegende Fehlausrichtung zwischen allgemeinem Post-Training und DAC-artiger Inferenz, die die Fähigkeit des Modells einschränkt, dieses Potenzial vollständig auszuschöpfen. Um diese Lücke zu schließen und die Denkfähigkeiten von LLMs bei den anspruchsvollsten Aufgaben vollständig zu entfesseln, schlagen wir ein End-to-End-Reinforcement-Learning (RL)-Framework vor, um ihre DAC-artige Denkfähigkeit zu verbessern. In jedem Schritt zerlegt die Policy ein Problem in eine Gruppe von Teilproblemen, löst diese sequenziell und bearbeitet das ursprüngliche Problem basierend auf den Teillösungen, wobei sowohl die Zerlegung als auch die Lösung in das RL-Training integriert werden. Unter vergleichbaren Trainingsbedingungen verleiht unser DAC-basiertes Framework dem Modell eine höhere Leistungsobergrenze und eine stärkere Skalierbarkeit zur Testzeit, wobei es CoT auf wettbewerbsfähigen Benchmarks um 8,6 % in Pass@1 und 6,3 % in Pass@32 übertrifft.

English

Large language models (LLMs) have demonstrated strong reasoning capabilities through step-by-step chain-of-thought (CoT) reasoning. Nevertheless, at the limits of model capability, CoT often proves insufficient, and its strictly sequential nature constrains test-time scalability. A potential alternative is divide-and-conquer (DAC) reasoning, which decomposes a complex problem into subproblems to facilitate more effective exploration of the solution. Although promising, our analysis reveals a fundamental misalignment between general-purpose post-training and DAC-style inference, which limits the model's capacity to fully leverage this potential. To bridge this gap and fully unlock LLMs' reasoning capabilities on the most challenging tasks, we propose an end-to-end reinforcement learning (RL) framework to enhance their DAC-style reasoning capacity. At each step, the policy decomposes a problem into a group of subproblems, solves them sequentially, and addresses the original one conditioned on the subproblem solutions, with both decomposition and solution integrated into RL training. Under comparable training, our DAC-style framework endows the model with a higher performance ceiling and stronger test-time scalability, surpassing CoT by 8.6% in Pass@1 and 6.3% in Pass@32 on competition-level benchmarks.