Destilação On-policy Baseada em Rubrica

Resumo

A destilação on-policy (OPD) é um paradigma poderoso para alinhamento de modelos, mas sua dependência de logits do professor restringe sua aplicação a cenários de caixa-branca. Defendemos que rubricas semânticas estruturadas podem servir como uma alternativa escalável aos logits do professor, permitindo OPD usando apenas respostas geradas pelo professor. Para comprovar isso, apresentamos o ROPD, uma estrutura simples, porém fundamental, para OPD baseada em rubricas. Especificamente, o ROPD induz rubricas específicas ao prompt a partir de contrastes professor-aluno e, em seguida, utiliza essas rubricas para pontuar os rollouts do aluno para otimização on-policy. Empiricamente, o ROPD supera os métodos avançados de OPD baseados em logits na maioria dos cenários, alcançando um ganho de até 10x na eficiência amostral. Esses resultados posicionam a OPD baseada em rubricas como uma alternativa flexível e compatível com caixa-preta à OPD baseada em logits predominante, oferecendo uma referência simples, porém forte, para destilação escalável em LLMs proprietários e de código aberto. O código está disponível em https://github.com/Peregrine123/ROPD_official.

English

On-policy distillation (OPD) is a powerful paradigm for model alignment, yet its reliance on teacher logits restricts its application to white-box scenarios. We contend that structured semantic rubrics can serve as a scalable alternative to teacher logits, enabling OPD using only teacher-generated responses. To prove it, we introduce ROPD, a simple yet foundational framework for rubric-based OPD. Specifically, ROPD induces prompt-specific rubrics from teacher-student contrasts, and then utilizes these rubrics to score the student rollouts for on-policy optimization. Empirically, ROPD outperforms the advanced logit-based OPD methods across most scenarios, and achieving up to a 10x gain in sample efficiency. These results position rubric-based OPD as a flexible, black-box-compatible alternative to the prevailing logit-based OPD, offering a simple yet strong baseline for scalable distillation across proprietary and open-source LLMs. Code is available at https://github.com/Peregrine123/ROPD_official.