DiffuCoder: Verständnis und Verbesserung maskierter Diffusionsmodelle für die Code-Generierung

DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation

June 25, 2025

Autoren: Shansan Gong, Ruixiang Zhang, Huangjie Zheng, Jiatao Gu, Navdeep Jaitly, Lingpeng Kong, Yizhe Zhang

cs.AI

Zusammenfassung

Diffusion Large Language Models (dLLMs) stellen überzeugende Alternativen zu autoregressiven (AR) Modellen dar, da ihre Denoising-Modelle über die gesamte Sequenz operieren. Die globalen Planungs- und iterativen Verfeinerungsfähigkeiten von dLLMs sind besonders nützlich für die Code-Generierung. Allerdings sind die aktuellen Trainings- und Inferenzmechanismen für dLLMs im Bereich der Programmierung noch wenig erforscht. Um das Decoding-Verhalten von dLLMs zu entschlüsseln und ihr Potenzial für die Code-Generierung freizusetzen, untersuchen wir systematisch ihre Denoising-Prozesse und Reinforcement-Learning (RL)-Methoden. Wir trainieren ein 7B dLLM, DiffuCoder, mit 130B Token an Code. Anhand dieses Modells als Testumgebung analysieren wir sein Decoding-Verhalten und zeigen, wie es sich von AR-Modellen unterscheidet: (1) dLLMs können entscheiden, wie kausal ihre Generierung sein soll, ohne sich auf semi-autoregressives Decoding zu verlassen, und (2) eine Erhöhung der Sampling-Temperatur diversifiziert nicht nur die Token-Auswahl, sondern auch deren Generierungsreihenfolge. Diese Diversität schafft einen reichhaltigen Suchraum für RL-Rollouts. Für das RL-Training schlagen wir coupled-GRPO vor, ein neuartiges Sampling-Schema, das komplementäres Maskenrauschen für die in der Ausbildung verwendeten Completionen konstruiert, um die Varianz der Token-Log-Likelihood-Schätzungen zu reduzieren und die Trainings effizient zu halten. In unseren Experimenten verbessert coupled-GRPO die Leistung von DiffuCoder bei Code-Generierungs-Benchmarks signifikant (+4,4 % auf EvalPlus) und reduziert die Abhängigkeit von kausalem AR während des Decodings. Unsere Arbeit bietet tiefere Einblicke in die Funktionsweise der dLLM-Generierung und stellt ein effektives, diffusion-natives RL-Trainingsframework bereit. https://github.com/apple/ml-diffucoder.

English

Diffusion large language models (dLLMs) are compelling alternatives to autoregressive (AR) models because their denoising models operate over the entire sequence. The global planning and iterative refinement features of dLLMs are particularly useful for code generation. However, current training and inference mechanisms for dLLMs in coding are still under-explored. To demystify the decoding behavior of dLLMs and unlock their potential for coding, we systematically investigate their denoising processes and reinforcement learning (RL) methods. We train a 7B dLLM, DiffuCoder, on 130B tokens of code. Using this model as a testbed, we analyze its decoding behavior, revealing how it differs from that of AR models: (1) dLLMs can decide how causal their generation should be without relying on semi-AR decoding, and (2) increasing the sampling temperature diversifies not only token choices but also their generation order. This diversity creates a rich search space for RL rollouts. For RL training, to reduce the variance of token log-likelihood estimates and maintain training efficiency, we propose coupled-GRPO, a novel sampling scheme that constructs complementary mask noise for completions used in training. In our experiments, coupled-GRPO significantly improves DiffuCoder's performance on code generation benchmarks (+4.4\% on EvalPlus) and reduces reliance on AR causal during decoding. Our work provides deeper insight into the machinery of dLLM generation and offers an effective, diffusion-native RL training framework. https://github.com/apple/ml-diffucoder.