nabla-Reasoner: LLM-redenering via test-time gradiëntdaling in latente ruimte

nabla-Reasoner: LLM Reasoning via Test-Time Gradient Descent in Latent Space

March 5, 2026

Auteurs: Peihao Wang, Ruisi Cai, Zhen Wang, Hongyuan Mei, Qiang Liu, Pan Li, Zhangyang Wang

cs.AI

Samenvatting

Het schalen van rekencapaciteit tijdens inferentie voor Large Language Models (LLM's) heeft ongekende redeneervermogens ontsloten. Bestaande methoden voor schaling tijdens inferentie zijn echter doorgaans gebaseerd op inefficiënte en suboptimale discrete zoekalgoritmen of trial-and-error-prompting om het online-beleid te verbeteren. In dit artikel stellen we nabla-Reasoner voor, een iteratief generatieraamwerk dat differentieerbare optimalisatie van token-logits integreert in de decoderinglus om het beleid dynamisch te verfijnen. Onze kerncomponent, Differentiable Textual Optimization (DTO), benut gradiëntsignalen van zowel de waarschijnlijkheid van het LLM als een beloningsmodel om tekstuele representaties te verbeteren. Nabla-Reasoner integreert verder rejection sampling en een versnellingsontwerp om de decodering robuuster en sneller te maken. Theoretisch tonen we aan dat het uitvoeren van gradiëntdaling tijdens inferentie in de steekproefruimte om de beloning te maximaliseren duaal is aan het uitlijnen van een LLM-beleid via KL-geregulariseerde reinforcement learning. Empirisch behaalt nabla-Reasoner een nauwkeurigheidsverbetering van meer dan 20% op een uitdagende wiskundige redeneerbenchmark, terwijl het aantal modelaanroepen met ongeveer 10-40% wordt verminderd in vergelijking met sterke baseline-methoden. Over het geheel genomen introduceert ons werk een paradigmaverschuiving van zoeken van de nulde orde naar optimalisatie van de eerste orde tijdens testtijd, wat een kosteneffectieve weg biedt om het redeneervermogen van LLM's te versterken.

English

Scaling inference-time compute for Large Language Models (LLMs) has unlocked unprecedented reasoning capabilities. However, existing inference-time scaling methods typically rely on inefficient and suboptimal discrete search algorithms or trial-and-error prompting to improve the online policy. In this paper, we propose nabla-Reasoner, an iterative generation framework that integrates differentiable optimization over token logits into the decoding loop to refine the policy on the fly. Our core component, Differentiable Textual Optimization (DTO), leverages gradient signals from both the LLM's likelihood and a reward model to refine textual representations. nabla-Reasoner further incorporates rejection sampling and acceleration design to robustify and speed up decoding. Theoretically, we show that performing inference-time gradient descent in the sample space to maximize reward is dual to aligning an LLM policy via KL-regularized reinforcement learning. Empirically, nabla-Reasoner achieves over 20% accuracy improvement on a challenging mathematical reasoning benchmark, while reducing number of model calls by approximately 10-40% compared to strong baselines. Overall, our work introduces a paradigm shift from zeroth-order search to first-order optimization at test time, offering a cost-effective path to amplify LLM reasoning.