Jenseits der Korrektheit: Robuste Argumentationsfähigkeiten durch Transferlernen erwerben
Beyond Correctness: Learning Robust Reasoning via Transfer
February 9, 2026
papers.authors: Hyunseok Lee, Soheil Abbasloo, Jihoon Tack, Jinwoo Shin
cs.AI
papers.abstract
Reinforcement Learning with Verifiable Rewards (RLVR) hat kürzlich das Reasoning von LLMs gestärkt, doch sein Fokus auf die Korrektheit der endgültigen Antwort lässt eine kritische Lücke: Es gewährleistet nicht die Robustheit des Reasoning-Prozesses selbst. Wir vertreten eine einfache philosophische Auffassung: Robustes Reasoning sollte auch über den Verstand hinaus nützlich bleiben, der es hervorgebracht hat, und betrachten Reasoning als eine Form der Bedeutungsübertragung, die Kürzung, Neuinterpretation und Fortsetzung überstehen muss. Aufbauend auf diesem Prinzip führen wir Reinforcement Learning with Transferable Reward (RLTR) ein, das Robustheit durch eine Transfer-Belohnung operationalisiert, die prüft, ob ein partielles Reasoning-Präfix eines Modells ein separates Modell zur korrekten Antwort führen kann. Dies ermutigt LLMs, Reasoning zu produzieren, das stabil, interpretierbar und echt generalisierbar ist. Unser Ansatz verbessert die Sampling-Konsistenz bei gleichzeitiger Steigerung der Genauigkeit der Endantwort und erreicht vergleichbare Leistung in deutlich weniger Trainingsschritten. Beispielsweise erzielt RLTR auf MATH500 einen Zuwachs von +3,6 %-Punkten in Maj@64 im Vergleich zu RLVR und erreicht die durchschnittliche Genauigkeit von RLVR mit etwa 2,5-mal weniger Trainingsschritten – was sowohl zuverlässigeres Reasoning als auch eine deutlich höhere Sample-Effizienz bietet.
English
Reinforcement Learning with Verifiable Rewards (RLVR) has recently strengthened LLM reasoning, but its focus on final answer correctness leaves a critical gap: it does not ensure the robustness of the reasoning process itself. We adopt a simple philosophical view, robust reasoning should remain useful beyond the mind that produced it, and treat reasoning as a form of meaning transfer that must survive truncation, reinterpretation, and continuation. Building on this principle, we introduce Reinforcement Learning with Transferable Reward (RLTR), which operationalizes robustness via transfer reward that tests whether a partial reasoning prefix from one model can guide a separate model to the correct answer. This encourages LLMs to produce reasoning that is stable, interpretable, and genuinely generalizable. Our approach improves sampling consistency while improving final answer accuracy, and it reaches comparable performance in substantially fewer training steps. For example, on MATH500, RLTR achieves a +3.6%p gain in Maj@64 compared to RLVR and matches RLVR's average accuracy with roughly 2.5x fewer training steps, providing both more reliable reasoning and significantly more sample efficient.