ルーブリックに基づくオン方策蒸留
Rubric-based On-policy Distillation
May 8, 2026
著者: Junfeng Fang, Zhepei Hong, Mao Zheng, Mingyang Song, Gengsheng Li, Houcheng Jiang, Dan Zhang, Haiyun Guo, Xiang Wang, Tat-Seng Chua
cs.AI
要旨
オン・ポリシー蒸留（OPD）はモデルアライメントにおける強力なパラダイムであるが、教師ロジットへの依存により、その適用はホワイトボックスシナリオに限定される。我々は、構造化セマンティックルーブリックが教師ロジットのスケーラブルな代替手段として機能し、教師が生成した応答のみを用いたOPDを可能にすると主張する。これを実証するため、ルーブリックベースのOPDのためのシンプルかつ基盤的なフレームワークであるROPDを導入する。具体的には、ROPDは教師と生徒の対比からプロンプト固有のルーブリックを導出し、そのルーブリックを用いて生徒のロールアウトをスコアリングし、オン・ポリシー最適化を行う。実験的に、ROPDはほとんどのシナリオにおいて高度なロジットベースのOPD手法を上回り、サンプル効率では最大10倍の向上を達成する。これらの結果は、ルーブリックベースのOPDを、普及しているロジットベースのOPDに代わる柔軟でブラックボックス互換の選択肢として位置づけ、プロプライエタリおよびオープンソースのLLMにわたるスケーラブルな蒸留のためのシンプルかつ強力なベースラインを提供する。コードはhttps://github.com/Peregrine123/ROPD_officialで公開されている。
English
On-policy distillation (OPD) is a powerful paradigm for model alignment, yet its reliance on teacher logits restricts its application to white-box scenarios. We contend that structured semantic rubrics can serve as a scalable alternative to teacher logits, enabling OPD using only teacher-generated responses. To prove it, we introduce ROPD, a simple yet foundational framework for rubric-based OPD. Specifically, ROPD induces prompt-specific rubrics from teacher-student contrasts, and then utilizes these rubrics to score the student rollouts for on-policy optimization. Empirically, ROPD outperforms the advanced logit-based OPD methods across most scenarios, and achieving up to a 10x gain in sample efficiency. These results position rubric-based OPD as a flexible, black-box-compatible alternative to the prevailing logit-based OPD, offering a simple yet strong baseline for scalable distillation across proprietary and open-source LLMs. Code is available at https://github.com/Peregrine123/ROPD_official.