強化学習ファインチューニングのための動的重要事例マイニング

要旨

強化学習ファインチューニング（Reinforcement Fine-Tuning, RFT）は、大規模モデルの推論能力を強化するためにますます利用されているが、その効果はトレーニングデータの選択方法と使用方法に依存している。データ中心のRFT手法のほとんどは、静的またはヒューリスティックなサンプル選択に頼っており、サンプルの価値はトレーニング中に固定されていると暗黙的に仮定している。これはポリシー学習の非定常的なダイナミクスを見落とし、準最適な更新につながる可能性がある。我々は、RFT全体でデータ利用を適応的にする、原理に基づいた完全自動化フレームワークである動的重要事例マイニング（Dynamic Important Example Mining, DIEM）を提案する。DIEMは各最適化ステップに2つの要素を統合する：（i）各サンプルのポリシー改善への限界貢献を効率的に近似する勾配整合性重要度推定器、（ii）更新の勾配の大きさを保ちながら最適化を安定化させ、総効用を最大化する制約付きバッチ再重み付けスキーム。複数の推論ベンチマークにおいて、DIEMは強力な静的・動的ベースラインを一貫して上回る。コードはhttps://github.com/hrtan/DIEMで公開予定である。

English

Reinforcement fine-tuning (RFT) is increasingly used to strengthen the reasoning abilities of large models, yet its effectiveness is bound by how training data are selected and used. Most data-centric RFT methods rely on static or heuristic sample selection, implicitly assuming a sample's value is fixed over training. This overlooks the non-stationary dynamics of policy learning and can lead to suboptimal updates. We propose Dynamic Important Example Mining (DIEM), a principled and fully automated framework that makes data utilization adaptive throughout RFT. DIEM integrates two components into each optimization step: (i) a gradient-alignment importance estimator that efficiently approximates each sample's marginal contribution to policy improvement; and (ii) a constrained batch reweighting scheme that maximizes aggregate utility while preserving the update's gradient magnitude to stabilize optimization. Across several reasoning benchmarks, DIEM consistently outperforms strong static and dynamic baselines. The code will be released via https://github.com/hrtan/DIEM.