하나의 증상, 세 가지 지렛대: 온-폴리시 자기 증류에 대한 비판적 고찰

초록

온-폴리시 증류는 언어 모델이 자신이 생성한 결과를 사용하여 훈련되는 동안, 교사(teacher)가 해당 결과를 토큰 단위로 평가하는 방식이다. 이는 모방 학습의 조밀한 지도(dense supervision)와 강화 학습의 온-폴리시 샘플링을 결합한 것이다. 그러나 교사 역할을 할 더 크고 별도의 모델이 필요하다는 비용이 따른다. 온-폴리시 자기 증류(On-Policy Self-Distillation, OPSD)는 그러한 비용을 제거한다. 여기서 교사는 모델 자신이며, 테스트 시점에는 학생이 이용할 수 없는 특권 정보(privileged information), 예를 들어 참조 해법, 계획, 환경 피드백 등을 조건으로 삼는다. 교사는 학생보다 강하지 않으며, 단지 더 나은 정보를 가질 뿐이다. 초기 결과는 유망하여, 생성된 토큰의 극히 일부만으로도 강화 학습에 필적하는 정확도를 보였다. 그러나 신호를 만들어내는 바로 그 비대칭성은 신호를 편향시키기도 한다. 현재 이 분야를 지배하는 실패 양상은 붕괴(collapse), 즉 모델이 생성할 수 있는 추론 경로의 집합이 점진적으로 좁아지는 현상이다. 붕괴는 OPSD에만 국한된 것은 아니지만, 특권 정보가 이를 악화시킨다. 본 리뷰는 붕괴를 세 가지 조절 수단(lever)에 의해 좌우되는 증상으로 다룬다: (i) 신호가 적용되는 위치, 즉 토큰에 가중치가 부여되는 방식, (ii) 교사에게 보여지는 정보, 즉 특권 정보의 성격, (iii) 신호가 변화하는 시점, 즉 교사의 변화 양상과 안내의 감쇠(decay). 우리는 이 방법이 시작되었고 실패 양상이 가장 잘 문서화된 수학적 추론으로 범위를 한정한다. 우리는 새로운 실험을 보고하지 않는다. 그 기여는 구조적이다: 서로 다른 논문들에서 다르게 명명된 현상들에 대한 공유 어휘를 제공하고, 정립된 것과 여전히 논쟁 중인 것 사이의 명확한 경계를 제시한다.

English

On-policy distillation trains a language model on its own generations while a teacher scores them token by token. It combines the dense supervision of imitation learning with the on-policy sampling of reinforcement learning. But it requires a second, larger model to act as teacher. On-Policy Self-Distillation (OPSD) removes that cost. The teacher is the model itself, conditioned on privileged information the student will not have at test time, such as a reference solution, a plan, or environment feedback. The teacher is no stronger than the student, only better informed. Early results were promising, with accuracy comparable to reinforcement learning at a fraction of the generated tokens. But the same asymmetry that produces the signal also biases it. One failure mode now dominates the field: collapse, the progressive narrowing of the set of reasoning paths the model can produce. Collapse is not specific to OPSD, though privileged information aggravates it. This review treats collapse as a symptom governed by three levers: (i) where the signal is applied, that is, how tokens are weighted; (ii) what the teacher is shown, that is, the nature of the privileged information; and (iii) when the signal changes, that is, the teacher's dynamics and the decay of guidance. We restrict our scope to mathematical reasoning, where the method originated and where its failure modes are best documented. We report no new experiments. The contribution is structural: a shared vocabulary for phenomena named differently across papers, and a clear line between what is settled and what is still disputed.