강화 미세조정을 위한 동적 중요 예제 마이닝

초록

강화 미세조정(Reinforcement Fine-tuning, RFT)은 대형 모델의 추론 능력을 강화하기 위해 점점 더 널리 사용되고 있지만, 그 효과는 훈련 데이터의 선택 및 활용 방식에 의해 제약을 받는다. 대부분의 데이터 중심 RFT 방법은 정적 또는 휴리스틱 샘플 선택에 의존하며, 샘플의 가치가 훈련 과정 전반에 걸쳐 고정되어 있다고 암묵적으로 가정한다. 이는 정책 학습의 비정상적 동역학을 간과하여 차선의 업데이트를 초래할 수 있다. 본 연구에서는 RFT 전반에 걸쳐 데이터 활용을 적응적으로 조정하는 원리 기반의 완전 자동화 프레임워크인 동적 중요 예제 마이닝(Dynamic Important Example Mining, DIEM)을 제안한다. DIEM은 각 최적화 단계에 다음 두 가지 구성 요소를 통합한다: (i) 각 샘플의 정책 개선에 대한 한계 기여도를 효율적으로 근사하는 그래디언트 정렬 중요도 추정기, (ii) 최적화를 안정화하기 위해 업데이트의 그래디언트 크기를 보존하면서 총 효용을 최대화하는 제약된 배치 재가중 방식. 여러 추론 벤치마크에서 DIEM은 강력한 정적 및 동적 베이스라인을 일관되게 능가한다. 코드는 https://github.com/hrtan/DIEM에서 공개될 예정이다.

English

Reinforcement fine-tuning (RFT) is increasingly used to strengthen the reasoning abilities of large models, yet its effectiveness is bound by how training data are selected and used. Most data-centric RFT methods rely on static or heuristic sample selection, implicitly assuming a sample's value is fixed over training. This overlooks the non-stationary dynamics of policy learning and can lead to suboptimal updates. We propose Dynamic Important Example Mining (DIEM), a principled and fully automated framework that makes data utilization adaptive throughout RFT. DIEM integrates two components into each optimization step: (i) a gradient-alignment importance estimator that efficiently approximates each sample's marginal contribution to policy improvement; and (ii) a constrained batch reweighting scheme that maximizes aggregate utility while preserving the update's gradient magnitude to stabilize optimization. Across several reasoning benchmarks, DIEM consistently outperforms strong static and dynamic baselines. The code will be released via https://github.com/hrtan/DIEM.