GDSD: Reinforcement Learning als Begeleide Ontruiser-Zelfdestillatie voor Diffusie-Taalmodellen

Samenvatting

Reinforcement learning (RL) kan worden gebruikt om het beleid (denoiser) van diffusion large language modellen (dLLMs) te verbeteren, maar wordt belemmerd door de onhandelbaarheid van de beleidswaarschijnlijkheid. Een dominante en efficiënte familie van methoden vervangt de waarschijnlijkheid in standaard RL door de bewijsondergrens (ELBO), geschat uit willekeurig gemaskeerde reeksen. Hoewel deze methoden goed aansluiten bij pre-training, introduceren ze vertekening door een trainings-inferentie mismatch doordat de ELBO als waarschijnlijkheidssurrogaat wordt gebruikt, wat de prestaties kan verslechteren. In dit werk stellen wij Guided Denoiser Self-Distillation (GDSD) voor om de denoiser van dLLMs rechtstreeks te distilleren uit een voordeelgestuurde zelfleraar, afgeleid van het gesloten-vorm optimum van omgekeerd-KL geregulariseerd RL. GDSD stemt de denoiser logits van de dLLM af op die van de leraar via een normalisatievrij doel, wat RL reduceert tot waarschijnlijkheidsvrije zelfdistillatie en zo de TIM-vertekeningen omzeilt. Recente ELBO-gebaseerde methoden blijken instanties te zijn van het toepassen van verschillende distillatiedivergenties, maar met diagnoseerbare pathologieën die GDSD vermijdt. Op planning-, wiskunde- en codeerbenchmarks met LLaDA-8B en Dream-7B presteert GDSD consistent beter dan eerdere state-of-the-art ELBO-gebaseerde methoden met een stabielere trainingsbeloningsdynamiek, met verbeteringen in testnauwkeurigheid tot +19,6%. Deze resultaten suggereren dat directe denoiser-zelfdistillatie, zonder afhankelijk te zijn van een ELBO-waarschijnlijkheidssurrogaat, een stabielere en effectievere RL-procedure voor dLLMs kan bieden. Code is beschikbaar op https://github.com/GaryBall/GDSD.

English

Reinforcement learning (RL) can be used to improve the policy (denoiser) of diffusion large language models (dLLMs), while being hindered by the intractability of the policy likelihood. A dominant and efficient family of methods replaces the likelihood in standard RL with its evidence lower bound (ELBO), estimated from randomly masked sequences. Despite being well aligned with pre-training, these approaches introduce bias through training--inference mismatch by using the ELBO as a likelihood surrogate, which can degrade performance. In this work, we propose Guided Denoiser Self-Distillation (GDSD) to directly distill the denoiser of dLLMs from an advantage-guided self-teacher, derived from the closed-form optimum of reverse-KL regularized RL. GDSD matches the dLLM's denoiser logits to the teacher's via a normalization-free objective, which reduces RL to likelihood-free self-distillation and thus bypasses the TIM biases. Recent ELBO-based methods emerge as instances of applying different distillation divergences, but with diagnosable pathologies that GDSD avoids. On planning, math, and coding benchmarks with LLaDA-8B and Dream-7B, GDSD consistently outperforms prior state-of-the-art ELBO-based methods with a more stable training reward dynamics, achieving test-accuracy improvements of up to +19.6%. These results suggest that direct denoiser self-distillation, without relying on an ELBO likelihood surrogate, can provide a more stable and effective RL procedure for dLLMs. Code is available at https://github.com/GaryBall/GDSD.