SG-OPD : Distillation sur politique à porte de signe via une porte de cohérence de signe et un échantillonnage progressif de l'enseignant

Résumé

La distillation sur politique (OPD) entraîne un étudiant sur ses propres trajectoires avec une supervision dense par jeton d'un enseignant plus fort, et surpasse souvent la distillation hors politique et l'apprentissage par renforcement standard. Cependant, nous constatons que son efficacité repose implicitement sur deux hypothèses qui sont souvent violées en pratique : l'alignement au niveau des trajectoires entre l'étudiant et l'enseignant, et la fiabilité uniforme au niveau des jetons des préférences de l'enseignant. Nous proposons donc la distillation sur politique à porte de signe (SG-OPD), qui utilise un vérificateur binaire comme signal de confiance pour l'enseignant à deux granularités complémentaires : un échantillonnage progressif de l'enseignant mélange les déploiements de l'enseignant approuvés par le vérificateur au démarrage à froid, et une porte de cohérence de signe extrapole la mise à jour de distillation sur les jetons où l'enseignant est d'accord avec la direction corrigée par le vérificateur et l'interpole là où il est en désaccord. Des expériences sur des benchmarks de raisonnement mathématique de niveau compétition montrent que SG-OPD surpasse systématiquement l'OPD standard, avec des gains moyens de 1,98 et 7,50 au niveau par échantillon et par question, respectivement.

English

On-policy distillation (OPD) trains a student on its own trajectories with dense per-token supervision from a stronger teacher, and often outperforms off-policy distillation and standard reinforcement learning. However, we find that its effectiveness implicitly relies on two assumptions that frequently break in practice: trajectory-level alignment between the student and the teacher, and uniform token-level reliability of the teacher's preferences. We therefore propose Sign-Gated On-Policy Distillation (SG-OPD), which uses a binary verifier as a trust signal for the teacher at two complementary granularities: phased teacher sampling mixes in verifier-endorsed teacher rollouts at cold-start, and a sign-consistency gate extrapolates the distillation update on tokens where the teacher agrees with the verifier-correct direction and interpolates it where it disagrees. Experiments on competition-level mathematical reasoning benchmarks show that SG-OPD consistently outperforms standard OPD, with average gains of 1.98 and 7.50 at the per-sample and per-question levels, respectively.