LaRA: Послойный анализ представлений для выявления загрязнения данных в пост-обучении с подкреплением

Аннотация

Обучение с подкреплением (RL) после предварительного обучения показало способность улучшать рассуждения в больших языковых моделях (LLM). Однако проблема загрязнения данных в ходе пост-обучения с подкреплением остаётся малоизученной, что может подрывать обобщающую способность и надёжность оценки самого процесса обучения. Существующие методы обнаружения в основном опираются на сигналы на уровне выходных данных, такие как правдоподобие или энтропия, которые становятся ненадёжными для моделей, обученных с подкреплением, поскольку RL формирует поведение через траекторные вознаграждения, а не через вероятности токенов. Мы предлагаем LaRA — фреймворк послойного анализа представлений для выявления загрязнения в LLM, прошедших пост-обучение с подкреплением. LaRA вводит три взаимодополняющих метрики, измеряющие чувствительность к возмущениям, направленный коллапс и локальную жёсткость представлений при контролируемых возмущениях. Мы обнаружили, что загрязнение вызывает прогрессирующие геометрические отклонения на разных слоях, включая усиленную чувствительность к возмущениям, более выраженный направленный коллапс и повышенную локальную жёсткость. На основе полученных результатов мы также разработали протокол обнаружения загрязнения, который агрегирует отклонения на уровне представлений по слоям и метрикам. Эксперименты на моделях рассуждений, обученных с подкреплением, показывают, что наш протокол превосходит существующие базовые методы обнаружения загрязнения, работающие на уровне выходных данных.

English

Reinforcement learning (RL) post-training has shown to improve reasoning in large language models (LLMs). However, there has been little exploration on the problem of data contamination in RL post-training, potentially undermining generalization and evaluation reliability of the training process itself. Existing detection methods primarily rely on output-level signals such as likelihood or entropy, which become unreliable for RL-trained models since RL shapes behavior through trajectory-level rewards rather than token likelihoods. We propose LaRA, a layer-wise representation analysis framework for detecting contamination in RL post-trained LLMs. LaRA introduces three complementary metrics, measuring perturbation sensitivity, directional collapse, and local representation rigidity under controlled perturbations. We find that contamination produces progressive geometric deviations across layers, including amplified perturbation sensitivity, stronger directional collapse, and enhanced local rigidity. Based on our findings, we also develop a contamination detection protocol that aggregates representation-level deviations across layers and metrics. Experiments on RL-trained reasoning models show that our protocol outperforms existing output-level baselines for contamination detection.