Het Onleerbaarheidsfenomeen in RLVR voor Taalmodellen

Samenvatting

Reinforcement Learning met Verifieerbare Beloning (RLVR) is bewezen effectief in het verbeteren van het redeneervermogen van grote taalmodellen (Large Language Models, LLM’s). De leerdynamiek van RLVR blijft echter onderbelicht. In dit artikel onthullen we een contra-intuïtief fenomeen: bij moeilijke voorbeelden waar het model in eerste instantie moeite mee heeft, blijft een aanzienlijk deel onleerbaar, zelfs wanneer er correcte uitrolsessies aanwezig zijn. Om dit fenomeen te begrijpen, tonen we eerst aan dat bestaande optimalisatie- en samplingtechnieken er niet in slagen onleerbaarheid op te lossen. Via gradiëntanalyse over meerdere voorbeelden laten we zien dat onleerbare voorbeelden een fundamenteel representatieprobleem hebben, gekenmerkt door een lage gradiëntovereenkomst met de rest van de voorbeelden en ongeneraliseerbare redeneerpatronen. Verder tonen we aan dat representatiegebreken moeilijk te verhelpen zijn in RL, omdat data-augmentatie de gradiëntovereenkomst niet verbetert. Onze studie biedt de eerste systematische karakterisering van onleerbare data in RLVR-training en onthult fundamentele beperkingen van huidige RL-benaderingen voor redeneertaken. Code en data zijn beschikbaar op https://github.com/yulinchen99/unlearnability-rlvr.

English

Reinforcement Learning with Verifiable Reward (RLVR) has proven effective in improving Large Language Model's (LLM) reasoning ability. However, the learning dynamics of RLVR remain underexplored. In this paper, we reveal a counterintuitive phenomenon: among hard examples that the model initially struggles with, a substantial subset remains unlearnable even when correct rollouts are present. To understand the phenomenon, we first demonstrate that existing optimization and sampling techniques fail to resolve unlearnability. With cross-example gradient analysis, we show that unlearnable examples have fundamental representation issue, characterized by low gradient similarity with the rest of the examples and ungeneralizable reasoning patterns. We further show that representation flaws are difficult to mitigate in RL, as data augmentation does not improve gradient similarity. Our study provides the first systematic characterization of unlearnable data in RLVR training and reveals fundamental limitations in current RL approaches for reasoning tasks. Code and data are available at https://github.com/yulinchen99/unlearnability-rlvr.