Oltre la Correttezza: Apprendimento del Ragionamento Robusto tramite Trasferimento
Beyond Correctness: Learning Robust Reasoning via Transfer
February 9, 2026
Autori: Hyunseok Lee, Soheil Abbasloo, Jihoon Tack, Jinwoo Shin
cs.AI
Abstract
Il Reinforcement Learning con Ricompense Verificabili (RLVR) ha recentemente potenziato il ragionamento dei LLM, ma la sua focalizzazione sulla correttezza della risposta finale lascia un divario critico: non garantisce la robustezza del processo di ragionamento stesso. Adottiamo una semplice visione filosofica: un ragionamento robusto dovrebbe rimanere utile al di là della mente che lo ha prodotto, e trattiamo il ragionamento come una forma di trasferimento di significato che deve resistere a troncamento, reinterpretazione e continuazione. Basandoci su questo principio, introduciamo il Reinforcement Learning con Ricompensa Trasferibile (RLTR), che concretizza la robustezza attraverso una ricompensa di trasferimento che verifica se un prefisso di ragionamento parziale da un modello possa guidare un modello separato verso la risposta corretta. Ciò incoraggia i LLM a produrre ragionamenti stabili, interpretabili e genuinamente generalizzabili. Il nostro approccio migliora la coerenza del campionamento pur migliorando l'accuratezza della risposta finale, e raggiunge prestazioni comparabili in un numero sostanzialmente inferiore di passi di addestramento. Ad esempio, su MATH500, RLTR ottiene un guadagno di +3.6%p in Maj@64 rispetto a RLVR e raggiunge la stessa accuratezza media di RLVR con circa 2.5 volte meno passi di addestramento, fornendo sia un ragionamento più affidabile che una significativamente maggiore efficienza campionaria.
English
Reinforcement Learning with Verifiable Rewards (RLVR) has recently strengthened LLM reasoning, but its focus on final answer correctness leaves a critical gap: it does not ensure the robustness of the reasoning process itself. We adopt a simple philosophical view, robust reasoning should remain useful beyond the mind that produced it, and treat reasoning as a form of meaning transfer that must survive truncation, reinterpretation, and continuation. Building on this principle, we introduce Reinforcement Learning with Transferable Reward (RLTR), which operationalizes robustness via transfer reward that tests whether a partial reasoning prefix from one model can guide a separate model to the correct answer. This encourages LLMs to produce reasoning that is stable, interpretable, and genuinely generalizable. Our approach improves sampling consistency while improving final answer accuracy, and it reaches comparable performance in substantially fewer training steps. For example, on MATH500, RLTR achieves a +3.6%p gain in Maj@64 compared to RLVR and matches RLVR's average accuracy with roughly 2.5x fewer training steps, providing both more reliable reasoning and significantly more sample efficient.