Aprender com os próprios erros: Construindo trajetórias microrreflexivas aprendíveis para autodestilação

Resumo

A autodestilação melhora o raciocínio em modelos de linguagem de grande escala ao utilizar as próprias trajetórias geradas pelo modelo como sinal de treinamento, tipicamente por meio de alinhamento implícito no nível dos logits que minimiza a divergência KL em relação a uma distribuição alvo privilegiada. No entanto, como essa supervisão é gerada por amostragem não controlada, ela não fornece insights diagnósticos sobre os erros específicos do modelo nem orientação corretiva para seus padrões individuais de falha. Consequentemente, o modelo aprende a imitar uma distribuição privilegiada em vez de receber correções refinadas que identifiquem onde e por que seu raciocínio falha. Neste artigo, propomos a Otimização de Política Aumentada por Trajetórias (TAPO), que avança a autodestilação do alinhamento distribucional implícito para a construção explícita de trajetórias. Durante o treinamento por RL, o modelo produz trajetórias corretas e incorretas para a mesma consulta, e o TAPO aproveita essa estrutura contrastiva para construir correções microrreflexivas — novas trajetórias de treinamento que retêm o raciocínio errôneo do modelo até o ponto de falha, inserindo em seguida um diagnóstico em linguagem natural e um raciocínio corrigido, guiados por uma referência correta do mesmo grupo de amostragem. Como cada trajetória está ancorada no próprio prefixo e nas soluções do aprendiz, o sinal corretivo preserva a distribuição on-policy do modelo em maior medida do que o alinhamento posicional imposto por métodos baseados em KL. Para integrar essas trajetórias, o TAPO introduz uma seleção de candidatos ciente da dificuldade no limite da capacidade do modelo e uma estimativa de vantagem desacoplada para evitar a contaminação do gradiente. Experimentos no AIME 2024, AIME 2025 e HMMT 2025 mostram que o TAPO atinge melhorias consistentes em relação ao GRPO sob o mesmo número de passos de treinamento. Análises adicionais demonstram que o TAPO fortalece tanto o raciocínio de primeira passagem quanto a eficácia da correção de erros.

English

Self-distillation improves reasoning in large language models by using the model's own rollouts as training signal, typically through implicit logit-level alignment that minimizes KL divergence toward a privileged target distribution. However, because this supervision is generated via uncontrolled sampling, it provides no diagnostic insight into the model's specific errors or corrective guidance for its individual failure patterns. Consequently, the model learns to imitate a privileged distribution rather than receiving fine-grained corrections that pinpoint where and why its reasoning fails. In this paper, we propose Trajectory-Augmented Policy Optimization (TAPO), which advances self-distillation from implicit distributional alignment to explicit trajectory construction. During RL training, the model produces both correct and incorrect rollouts to the same query, and TAPO leverages this contrastive structure to construct micro-reflective corrections, new training trajectories that retain the model's erroneous reasoning up to the point of failure, then insert a natural-language diagnosis and corrected reasoning guided by a correct reference from the same sampling group. Since each trajectory is anchored in the learner's own prefix and solutions, the corrective signal preserves the model's on-policy distribution to a greater extent than the position-wise alignment imposed by KL-based methods. To integrate these trajectories, TAPO introduces difficulty-aware candidate selection at the model's capability boundary and decoupled advantage estimation to prevent gradient contamination. Experiments on AIME 2024, AIME 2025, and HMMT 2025 show that TAPO achieves consistent improvements over GRPO under the same number of training steps. Further analysis demonstrates that TAPO strengthens both first-pass reasoning and error-correction effectiveness.