nabla-Reasoner: LLM-basiertes Schließen durch Gradientenabstieg zur Testzeit im latenten Raum
nabla-Reasoner: LLM Reasoning via Test-Time Gradient Descent in Latent Space
March 5, 2026
Autoren: Peihao Wang, Ruisi Cai, Zhen Wang, Hongyuan Mei, Qiang Liu, Pan Li, Zhangyang Wang
cs.AI
Zusammenfassung
Die Skalierung von Inferenz-Rechenleistung für große Sprachmodelle (LLMs) hat beispiellose Fähigkeiten im logischen Denken freigesetzt. Bisherige Methoden zur Skalierung zur Inferenzzeit stützen sich jedoch typischerweise auf ineffiziente und suboptimale diskrete Suchalgorithmen oder Trial-and-Error-Prompting, um die Online-Policy zu verbessern. In diesem Artikel stellen wir nabla-Reasoner vor, einen iterativen Generierungsrahmen, der differentierbare Optimierung über Token-Logits in den Dekodierungsprozess integriert, um die Policy dynamisch zu verfeinern. Unsere Kernkomponente, Differentiable Textual Optimization (DTO), nutzt Gradientensignale sowohl aus der Likelihood des LLM als auch aus einem Belohnungsmodell, um textuelle Repräsentationen zu optimieren. nabla-Reasoner integriert weiterhin Rejection Sampling und ein Beschleunigungsdesign, um die Dekodierung robuster und schneller zu machen. Theoretisch zeigen wir, dass die Durchführung von Gradientenabstieg zur Inferenzzeit im Probenraum zur Maximierung der Belohnung dual zur Ausrichtung einer LLM-Policy mittels KL-regularisierter Verstärkungslernens ist. Empirisch erzielt nabla-Reasoner eine Steigerung der Genauigkeit von über 20 % auf einem anspruchsvollen Benchmark für mathematisches Denken, während gleichzeitig die Anzahl der Modellaufrufe im Vergleich zu starken Baseline-Methoden um etwa 10–40 % reduziert wird. Insgesamt führt unsere Arbeit einen Paradigmenwechsel von Nullter-Ordnung-Suche zu Optimierung Erster Ordnung zur Testzeit ein und bietet einen kosteneffektiven Weg, um das logische Denken von LLMs zu verstärken.
English
Scaling inference-time compute for Large Language Models (LLMs) has unlocked unprecedented reasoning capabilities. However, existing inference-time scaling methods typically rely on inefficient and suboptimal discrete search algorithms or trial-and-error prompting to improve the online policy. In this paper, we propose nabla-Reasoner, an iterative generation framework that integrates differentiable optimization over token logits into the decoding loop to refine the policy on the fly. Our core component, Differentiable Textual Optimization (DTO), leverages gradient signals from both the LLM's likelihood and a reward model to refine textual representations. nabla-Reasoner further incorporates rejection sampling and acceleration design to robustify and speed up decoding. Theoretically, we show that performing inference-time gradient descent in the sample space to maximize reward is dual to aligning an LLM policy via KL-regularized reinforcement learning. Empirically, nabla-Reasoner achieves over 20% accuracy improvement on a challenging mathematical reasoning benchmark, while reducing number of model calls by approximately 10-40% compared to strong baselines. Overall, our work introduces a paradigm shift from zeroth-order search to first-order optimization at test time, offering a cost-effective path to amplify LLM reasoning.