Voorbij Correctheid: Robuust Redeneren Leren via Transfer
Beyond Correctness: Learning Robust Reasoning via Transfer
February 9, 2026
Auteurs: Hyunseok Lee, Soheil Abbasloo, Jihoon Tack, Jinwoo Shin
cs.AI
Samenvatting
Reinforcement Learning with Verifiable Rewards (RLVR) heeft recentelijk de redeneercapaciteiten van LLM's versterkt, maar de focus op de juistheid van het eindantwoord laat een kritieke leemte: het waarborgt niet de robuustheid van het redeneerproces zelf. Wij hanteren een eenvoudig filosofisch uitgangspunt: robuust redeneren moet bruikbaar blijven buiten de geest die het heeft voortgebracht, en behandelen redeneren als een vorm van betekenisoverdracht die moet standhouden bij afkapping, herinterpretatie en voortzetting. Op basis van dit principe introduceren wij Reinforcement Learning with Transferable Reward (RLTR), dat robuustheid operationeel maakt via een transferbeloning die test of een gedeeltelijke redeneerprefix van één model een afzonderlijk model naar het juiste antwoord kan leiden. Dit moedigt LLM's aan om redenering te produceren die stabiel, interpreteerbaar en werkelijk generaliseerbaar is. Onze aanpak verbetert de consistentie bij steekproefsgewijze evaluatie terwijl de nauwkeurigheid van het eindantwoord toeneemt, en het bereikt vergelijkbare prestaties in aanzienlijk minder trainingsstappen. Op MATH500 behaalt RLTR bijvoorbeeld een winst van +3,6%p in Maj@64 vergeleken met RLVR en evenaart het de gemiddelde nauwkeurigheid van RLVR met ongeveer 2,5x minder trainingsstappen, wat zowel betrouwbaarder redeneren als een aanzienlijk grotere steekproefefficiëntie oplevert.
English
Reinforcement Learning with Verifiable Rewards (RLVR) has recently strengthened LLM reasoning, but its focus on final answer correctness leaves a critical gap: it does not ensure the robustness of the reasoning process itself. We adopt a simple philosophical view, robust reasoning should remain useful beyond the mind that produced it, and treat reasoning as a form of meaning transfer that must survive truncation, reinterpretation, and continuation. Building on this principle, we introduce Reinforcement Learning with Transferable Reward (RLTR), which operationalizes robustness via transfer reward that tests whether a partial reasoning prefix from one model can guide a separate model to the correct answer. This encourages LLMs to produce reasoning that is stable, interpretable, and genuinely generalizable. Our approach improves sampling consistency while improving final answer accuracy, and it reaches comparable performance in substantially fewer training steps. For example, on MATH500, RLTR achieves a +3.6%p gain in Maj@64 compared to RLVR and matches RLVR's average accuracy with roughly 2.5x fewer training steps, providing both more reliable reasoning and significantly more sample efficient.