Grenzen van Generalisatie in RLVR: Twee Casestudies in Wiskundig Redeneren

Limits of Generalization in RLVR: Two Case Studies in Mathematical Reasoning

October 30, 2025

Auteurs: Md Tanvirul Alam, Nidhi Rastogi

cs.AI

Samenvatting

Wiskundig redeneren vormt een centrale uitdaging voor grote taalmodelen (LLM's), waarbij niet alleen correcte antwoorden maar ook betrouwbare redeneerprocessen vereist zijn. Reinforcement Learning met Verifieerbare Beloningen (RLVR) is naar voren gekomen als een veelbelovende aanpak om dergelijke capaciteiten te verbeteren; echter, het vermogen om echt redeneren te bevorderen blijft onduidelijk. Wij onderzoeken RLVR op twee combinatorische problemen met volledig verifieerbare oplossingen: Activiteitenplanning en de Langste Stijgende Deelrij, met behulp van zorgvuldig samengestelde datasets met unieke optima. Over meerdere beloningsontwerpen heen constateren we dat RLVR evaluatiemetrices verbetert, maar vaak door oppervlakkige heuristieken te versterken in plaats van nieuwe redeneerstrategieën aan te leren. Deze bevindingen benadrukken de grenzen van RLVR-generalizatie, en onderstrepen het belang van benchmarks die echt wiskundig redeneren ontwarren van het uitbuiten van shortcuts, en die betrouwbare maatstaven voor vooruitgang bieden. Code beschikbaar op https://github.com/xashru/rlvr-seq-generalization.

English

Mathematical reasoning is a central challenge for large language models (LLMs), requiring not only correct answers but also faithful reasoning processes. Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a promising approach for enhancing such capabilities; however, its ability to foster genuine reasoning remains unclear. We investigate RLVR on two combinatorial problems with fully verifiable solutions: Activity Scheduling and the Longest Increasing Subsequence, using carefully curated datasets with unique optima. Across multiple reward designs, we find that RLVR improves evaluation metrics but often by reinforcing superficial heuristics rather than acquiring new reasoning strategies. These findings highlight the limits of RLVR generalization, emphasizing the importance of benchmarks that disentangle genuine mathematical reasoning from shortcut exploitation and provide faithful measures of progress. Code available at https://github.com/xashru/rlvr-seq-generalization.