LaRA: Laaggewijze representatieanalyse voor het detecteren van datacontaminatie in RL post-training

Samenvatting

Versterkingsleren (RL) nabehandeling blijkt het redeneervermogen van grote taalmodellen (LLM's) te verbeteren. Er is echter weinig onderzoek gedaan naar het probleem van datacontaminatie in RL-nabehandeling, wat de generalisatie en evaluatiebetrouwbaarheid van het trainingsproces zelf kan ondermijnen. Bestaande detectiemethoden zijn voornamelijk gebaseerd op signalen op uitvoerniveau, zoals waarschijnlijkheid of entropie, die onbetrouwbaar worden voor met RL getrainde modellen, aangezien RL gedrag vormgeeft via beloningen op trajectniveau in plaats van via tokenwaarschijnlijkheden. Wij stellen LaRA voor, een raamwerk voor laagsgewijze representatieanalyse om contaminatie in met RL nabehandelde LLM's te detecteren. LaRA introduceert drie complementaire metrieken die perturbatiegevoeligheid, directionele collaps en lokale representatiestijfheid meten onder gecontroleerde perturbaties. We ontdekken dat contaminatie leidt tot progressieve geometrische afwijkingen over lagen, waaronder versterkte perturbatiegevoeligheid, sterkere directionele collaps en toegenomen lokale stijfheid. Op basis van onze bevindingen ontwikkelen we ook een contaminatiedetectieprotocol dat afwijkingen op representatieniveau over lagen en metrieken aggregeert. Experimenten met door RL getrainde redeneermodellen tonen aan dat ons protocol beter presteert dan bestaande baselines op uitvoerniveau voor contaminatiedetectie.

English

Reinforcement learning (RL) post-training has shown to improve reasoning in large language models (LLMs). However, there has been little exploration on the problem of data contamination in RL post-training, potentially undermining generalization and evaluation reliability of the training process itself. Existing detection methods primarily rely on output-level signals such as likelihood or entropy, which become unreliable for RL-trained models since RL shapes behavior through trajectory-level rewards rather than token likelihoods. We propose LaRA, a layer-wise representation analysis framework for detecting contamination in RL post-trained LLMs. LaRA introduces three complementary metrics, measuring perturbation sensitivity, directional collapse, and local representation rigidity under controlled perturbations. We find that contamination produces progressive geometric deviations across layers, including amplified perturbation sensitivity, stronger directional collapse, and enhanced local rigidity. Based on our findings, we also develop a contamination detection protocol that aggregates representation-level deviations across layers and metrics. Experiments on RL-trained reasoning models show that our protocol outperforms existing output-level baselines for contamination detection.