LLM 후속 학습을 위한 증류 강화 학습

초록

대규모 언어 모델(LLM) 사후 학습은 추론 능력, 적응 및 정렬을 개선하는 데 필수적입니다. 기존 방법은 주로 두 가지 패러다임을 따릅니다: 강화 학습(RL)과 온폴리시 증류(OPD)입니다. 그러나 RL은 거친 수준의 결과 감독에 의존하여 신용 할당이 어렵고 새로운 지식을 습득하는 능력이 제한됩니다. 한편 OPD는 KL 발산을 통해 교사 모델의 로짓을 무조건적으로 일치시키며, 이는 딜레마를 초래합니다: 유사한 교사는 새로운 지식을 거의 제공하지 못하는 반면, 현저히 다른 교사는 효과적인 지도를 제공하지 못하는 경우가 많아, OPD는 주로 동일 계열 내 증류로 제한됩니다. 우리는 증류 강화 학습(Distilled RL)을 제안합니다. 이는 RL 목적 함수에 교사 감독을 통합하여 세밀한 지도를 제공하고, 새로운 지식을 선택적으로 전이하며 무조건적인 모방을 피합니다. Distilled RL은 세 가지 구성 요소를 포함합니다: 클리핑이 적용된 역중요도 샘플링, 음성 샘플 리셋, 그리고 시퀀스 수준의 기하 정규화입니다. 간결하고 해석 가능한 사례 연구를 통해, 우리는 Distilled RL이 교사 모델로부터 이전에는 이용할 수 없었던 지식을 학생 모델에 효과적으로 전이할 수 있음을 보여줍니다. 동일 계열 및 교차 계열 증류 설정 모두에 걸친 광범위한 실험을 통해, Distilled RL이 pass@1과 pass@k 모두에서 표준 RL과 OPD를 크게 능가함을 보여줍니다. 우리의 코드는 https://github.com/597358816/Distilled-RL에서 확인할 수 있습니다.

English

Large language model (LLM) post-training is essential for improving reasoning, adaptation, and alignment. Existing methods mainly follow two paradigms: reinforcement learning (RL) and on-policy distillation (OPD). However, RL relies on coarse-grained outcome supervision, resulting in difficult credit assignment and limited capability to acquire new knowledge. OPD, meanwhile, unconditionally matches teacher logits through KL divergence, which creates a dilemma: similar teachers provide little new knowledge, while substantially different teachers often yield ineffective guidance, largely restricting OPD to within-family distillation. We propose Distilled Reinforcement Learning (Distilled RL), which integrates teacher supervision into the RL objective to provide fine-grained guidance, selectively transfer new knowledge and avoid unconditional imitation. Distilled RL contains three components: reverse importance sampling with clipping, negative sample reset, and sequence-level geometric normalization. Through a concise and interpretable case study, we demonstrate that Distilled RL can effectively transfer previously unavailable knowledge from a teacher model to a student model. Extensive experiments across both within-family and cross-family distillation settings show that Distilled RL substantially outperforms standard RL and OPD in terms of both pass@1 and pass@k. Our code is available at https://github.com/597358816/Distilled-RL.