LaRA: Schichtweise Repräsentationsanalyse zur Erkennung von Datenkontamination im RL-Post-Training

Zusammenfassung

Reinforcement Learning (RL) Post-Training hat nachweislich die Argumentationsfähigkeit großer Sprachmodelle (LLMs) verbessert. Allerdings wurde das Problem der Datenkontamination im RL Post-Training bisher kaum untersucht, was möglicherweise die Generalisierung und die Bewertungszuverlässigkeit des Trainingsprozesses selbst untergräbt. Bestehende Erkennungsmethoden stützen sich hauptsächlich auf Signale auf Ausgabeebene wie Likelihood oder Entropie, die für RL-trainierte Modelle unzuverlässig werden, da RL das Verhalten durch Belohnungen auf Trajektorienebene und nicht durch Token-Wahrscheinlichkeiten formt. Wir schlagen LaRA vor, ein Framework zur schichtweisen Repräsentationsanalyse zur Erkennung von Kontamination in RL-post-trainierten LLMs. LaRA führt drei komplementäre Metriken ein, die Störungsempfindlichkeit, direktionalen Kollaps und lokale Repräsentationssteifigkeit unter kontrollierten Störungen messen. Wir stellen fest, dass Kontamination fortschreitende geometrische Abweichungen über die Schichten hinweg erzeugt, darunter verstärkte Störungsempfindlichkeit, stärkeren direktionalen Kollaps und erhöhte lokale Steifigkeit. Basierend auf unseren Erkenntnissen entwickeln wir außerdem ein Kontaminationserkennungsprotokoll, das Abweichungen auf Repräsentationsebene über Schichten und Metriken hinweg aggregiert. Experimente an RL-trainierten Reasoning-Modellen zeigen, dass unser Protokoll bestehende Basislinien auf Ausgabeebene zur Kontaminationserkennung übertrifft.

English

Reinforcement learning (RL) post-training has shown to improve reasoning in large language models (LLMs). However, there has been little exploration on the problem of data contamination in RL post-training, potentially undermining generalization and evaluation reliability of the training process itself. Existing detection methods primarily rely on output-level signals such as likelihood or entropy, which become unreliable for RL-trained models since RL shapes behavior through trajectory-level rewards rather than token likelihoods. We propose LaRA, a layer-wise representation analysis framework for detecting contamination in RL post-trained LLMs. LaRA introduces three complementary metrics, measuring perturbation sensitivity, directional collapse, and local representation rigidity under controlled perturbations. We find that contamination produces progressive geometric deviations across layers, including amplified perturbation sensitivity, stronger directional collapse, and enhanced local rigidity. Based on our findings, we also develop a contamination detection protocol that aggregates representation-level deviations across layers and metrics. Experiments on RL-trained reasoning models show that our protocol outperforms existing output-level baselines for contamination detection.