O Papel do Alinhamento de Feedback na Autodestilação

Resumo

Condicionar um modelo de linguagem a um contexto adicional, como feedback sobre uma tentativa anterior, geralmente melhora sua resposta. A autodestilação treina o modelo para reter essa melhoria quando o contexto não está presente. O método funciona igualando a distribuição de saída do modelo sob duas configurações: um aluno que vê apenas a pergunta e um autoprofessor que também vê o contexto. Portanto, o que o modelo aprende depende do contexto que o autoprofessor recebe, mas o design desse contexto permanece amplamente inexplorado. Estudamos o design de contexto para autodestilação treinando um solucionador com feedback de um crítico congelado. Comparamos três condições: (i) uma recompensa binária (GRPO), (ii) a solução de referência e (iii) uma crítica alinhada por etapas ao traço de raciocínio do solucionador. A crítica alinhada por etapas produziu os maiores ganhos, superando o GRPO em 16,11 pontos e a autodestilação condicionada à solução de referência em 5,27 pontos (Avg@12). A análise de vantagem por token revela o porquê: o feedback alinhado por etapas tem como alvo apenas os tokens onde o raciocínio falha, deixando o comportamento correto intacto. Já o condicionamento à solução de referência, por outro lado, pressiona o modelo a alterar seu comportamento em todos os tokens (mesmo nas etapas corretas), pois uma derivação alternativa inevitavelmente difere em formulação e abordagem. Isso sugere que o alinhamento estrutural entre o feedback e o raciocínio do solucionador é um fator-chave para a eficácia da autodestilação.

English

Conditioning a language model on additional context, such as feedback on a previous attempt, typically improves its response. Self-distillation trains the model to retain this improvement when the context is not present. The method works by matching the model's output distribution under two settings: a student that sees only the question, and a self-teacher that also sees the context. What the model learns therefore depends on what context the self-teacher receives, yet the design of this context remains largely unexplored. We study context design for self-distillation by training a solver on feedback from a frozen critic. We compare three conditions: (i) a binary reward (GRPO), (ii) the reference solution, and (iii) a step-by-step critique aligned to the solver's reasoning trace. Step-aligned critique yields the largest gains, outperforming GRPO by 16.11 points and reference-solution-conditioned self-distillation by 5.27 points (Avg@12). Per-token advantage analysis reveals why: step-aligned feedback targets only the tokens where reasoning fails, leaving correct behavior intact. Conditioning on the reference solution, by contrast, pressures the model to change its behavior at every token (even correct steps) because an alternative derivation inevitably differs in phrasing and approach. This suggests that structural alignment between feedback and the solver's reasoning is a key driver of self-distillation effectiveness.