GDSD: Aprendizado por Reforço como Autodestilação de Denoiser Guiado para Modelos de Linguagem de Difusão

Resumo

O aprendizado por reforço (RL) pode ser usado para melhorar a política (denoiser) de modelos de linguagem grandes de difusão (dLLMs), embora seja dificultado pela intratabilidade da verossimilhança da política. Uma família dominante e eficiente de métodos substitui a verossimilhança no RL padrão pelo seu limite inferior da evidência (ELBO), estimado a partir de sequências mascaradas aleatoriamente. Apesar de estarem bem alinhados com o pré-treinamento, essas abordagens introduzem viés através da incompatibilidade entre treinamento e inferência ao usar o ELBO como substituto da verossimilhança, o que pode degradar o desempenho. Neste trabalho, propomos a Autodestilação Guiada por Denoiser (GDSD) para destilar diretamente o denoiser de dLLMs a partir de um auto-professor guiado por vantagem, derivado do ótimo de forma fechada do RL regularizado por KL reversa. GDSD combina os logits do denoiser do dLLM com os do professor através de um objetivo livre de normalização, o que reduz o RL a uma autodestilação livre de verossimilhança e, assim, contorna os vieses da TIM. Métodos recentes baseados em ELBO surgem como instâncias de aplicação de diferentes divergências de destilação, mas com patologias diagnosticáveis que o GDSD evita. Em benchmarks de planejamento, matemática e codificação com LLaDA-8B e Dream-7B, o GDSD supera consistentemente os métodos anteriores baseados em ELBO do estado da arte, com uma dinâmica de recompensa de treinamento mais estável, alcançando melhorias de precisão de teste de até +19,6%. Esses resultados sugerem que a autodestilação direta do denoiser, sem depender de um substituto de verossimilhança ELBO, pode fornecer um procedimento de RL mais estável e eficaz para dLLMs. O código está disponível em https://github.com/GaryBall/GDSD.

English

Reinforcement learning (RL) can be used to improve the policy (denoiser) of diffusion large language models (dLLMs), while being hindered by the intractability of the policy likelihood. A dominant and efficient family of methods replaces the likelihood in standard RL with its evidence lower bound (ELBO), estimated from randomly masked sequences. Despite being well aligned with pre-training, these approaches introduce bias through training--inference mismatch by using the ELBO as a likelihood surrogate, which can degrade performance. In this work, we propose Guided Denoiser Self-Distillation (GDSD) to directly distill the denoiser of dLLMs from an advantage-guided self-teacher, derived from the closed-form optimum of reverse-KL regularized RL. GDSD matches the dLLM's denoiser logits to the teacher's via a normalization-free objective, which reduces RL to likelihood-free self-distillation and thus bypasses the TIM biases. Recent ELBO-based methods emerge as instances of applying different distillation divergences, but with diagnosable pathologies that GDSD avoids. On planning, math, and coding benchmarks with LLaDA-8B and Dream-7B, GDSD consistently outperforms prior state-of-the-art ELBO-based methods with a more stable training reward dynamics, achieving test-accuracy improvements of up to +19.6%. These results suggest that direct denoiser self-distillation, without relying on an ELBO likelihood surrogate, can provide a more stable and effective RL procedure for dLLMs. Code is available at https://github.com/GaryBall/GDSD.