Além da Correção: Aprendizado de Raciocínio Robusto por meio de Transferência

Beyond Correctness: Learning Robust Reasoning via Transfer

February 9, 2026

Autores: Hyunseok Lee, Soheil Abbasloo, Jihoon Tack, Jinwoo Shin

cs.AI

Resumo

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tem fortalecido recentemente o raciocínio de LLMs, mas o seu foco na correção da resposta final deixa uma lacuna crítica: ele não garante a robustez do próprio processo de raciocínio. Adotamos uma visão filosófica simples: um raciocínio robusto deve permanecer útil para além da mente que o produziu, e tratamos o raciocínio como uma forma de transferência de significado que deve sobreviver a truncamento, reinterpretação e continuação. Com base neste princípio, introduzimos o Aprendizado por Reforço com Recompensa Transferível (RLTR), que operacionaliza a robustez por meio de uma recompensa de transferência que testa se um prefixo de raciocínio parcial de um modelo pode guiar um modelo separado para a resposta correta. Isso incentiva os LLMs a produzirem raciocínios que são estáveis, interpretáveis e genuinamente generalizáveis. Nossa abordagem melhora a consistência da amostragem enquanto aumenta a precisão da resposta final, e atinge um desempenho comparável em substancialmente menos etapas de treinamento. Por exemplo, no MATH500, o RLTR alcança um ganho de +3,6%p em Maj@64 em comparação com o RLVR e iguala a precisão média do RLVR com aproximadamente 2,5 vezes menos etapas de treinamento, fornecendo um raciocínio mais confiável e significativamente mais eficiente em termos de amostragem.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has recently strengthened LLM reasoning, but its focus on final answer correctness leaves a critical gap: it does not ensure the robustness of the reasoning process itself. We adopt a simple philosophical view, robust reasoning should remain useful beyond the mind that produced it, and treat reasoning as a form of meaning transfer that must survive truncation, reinterpretation, and continuation. Building on this principle, we introduce Reinforcement Learning with Transferable Reward (RLTR), which operationalizes robustness via transfer reward that tests whether a partial reasoning prefix from one model can guide a separate model to the correct answer. This encourages LLMs to produce reasoning that is stable, interpretable, and genuinely generalizable. Our approach improves sampling consistency while improving final answer accuracy, and it reaches comparable performance in substantially fewer training steps. For example, on MATH500, RLTR achieves a +3.6%p gain in Maj@64 compared to RLVR and matches RLVR's average accuracy with roughly 2.5x fewer training steps, providing both more reliable reasoning and significantly more sample efficient.