LaRA: 레이어별 표현 분석을 통한 RL 사후 훈련에서의 데이터 오염 탐지

초록

강화 학습(RL) 사후 학습은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 것으로 나타났다. 그러나 RL 사후 학습 과정에서 데이터 오염 문제에 대한 탐구는 거의 이루어지지 않았으며, 이는 훈련 과정 자체의 일반화와 평가 신뢰성을 저해할 수 있다. 기존 탐지 방법은 주로 가능도나 엔트로피와 같은 출력 수준 신호에 의존하지만, RL은 토큰 가능도가 아닌 궤적 수준 보상을 통해 행동을 형성하므로 이러한 방법은 RL 훈련 모델에 대해 신뢰도가 낮아진다. 본 논문에서는 RL 사후 훈련된 LLM의 오염 탐지를 위한 계층별 표현 분석 프레임워크인 LaRA를 제안한다. LaRA는 세 가지 상호 보완적 지표를 도입하여, 통제된 섭동 하에서의 섭동 민감도, 방향성 붕괴, 그리고 국소 표현 강성을 측정한다. 오염은 계층 전반에 걸쳐 증폭된 섭동 민감도, 강화된 방향성 붕괴, 그리고 증가된 국소 강성을 포함한 점진적 기하학적 편차를 유발함을 발견했다. 이러한 발견을 바탕으로, 계층과 지표 전반에 걸친 표현 수준 편차를 집계하는 오염 탐지 프로토콜을 개발한다. RL 훈련된 추론 모델에 대한 실험 결과, 제안하는 프로토콜이 오염 탐지에 있어 기존 출력 수준 기준선을 능가함을 보여준다.

English

Reinforcement learning (RL) post-training has shown to improve reasoning in large language models (LLMs). However, there has been little exploration on the problem of data contamination in RL post-training, potentially undermining generalization and evaluation reliability of the training process itself. Existing detection methods primarily rely on output-level signals such as likelihood or entropy, which become unreliable for RL-trained models since RL shapes behavior through trajectory-level rewards rather than token likelihoods. We propose LaRA, a layer-wise representation analysis framework for detecting contamination in RL post-trained LLMs. LaRA introduces three complementary metrics, measuring perturbation sensitivity, directional collapse, and local representation rigidity under controlled perturbations. We find that contamination produces progressive geometric deviations across layers, including amplified perturbation sensitivity, stronger directional collapse, and enhanced local rigidity. Based on our findings, we also develop a contamination detection protocol that aggregates representation-level deviations across layers and metrics. Experiments on RL-trained reasoning models show that our protocol outperforms existing output-level baselines for contamination detection.