DiffuCoder : Comprendre et améliorer les modèles de diffusion masqués pour la génération de code

Résumé

Les modèles de langage à grande échelle basés sur la diffusion (dLLMs) constituent des alternatives convaincantes aux modèles autorégressifs (AR), car leurs modèles de débruitage opèrent sur l'intégralité de la séquence. Les caractéristiques de planification globale et de raffinement itératif des dLLMs sont particulièrement utiles pour la génération de code. Cependant, les mécanismes actuels d'entraînement et d'inférence des dLLMs dans le domaine du codage restent encore peu explorés. Pour démystifier le comportement de décodage des dLLMs et libérer leur potentiel pour le codage, nous étudions systématiquement leurs processus de débruitage et les méthodes d'apprentissage par renforcement (RL). Nous entraînons un dLLM de 7B, DiffuCoder, sur 130B de tokens de code. En utilisant ce modèle comme banc d'essai, nous analysons son comportement de décodage, révélant en quoi il diffère de celui des modèles AR : (1) les dLLMs peuvent décider du degré de causalité de leur génération sans recourir à un décodage semi-AR, et (2) l'augmentation de la température d'échantillonnage diversifie non seulement les choix de tokens, mais aussi leur ordre de génération. Cette diversité crée un espace de recherche riche pour les déploiements RL. Pour l'entraînement RL, afin de réduire la variance des estimations de log-vraisemblance des tokens et de maintenir l'efficacité de l'entraînement, nous proposons coupled-GRPO, un nouveau schéma d'échantillonnage qui construit un bruit de masque complémentaire pour les complétions utilisées lors de l'entraînement. Dans nos expériences, coupled-GRPO améliore significativement les performances de DiffuCoder sur les benchmarks de génération de code (+4,4 % sur EvalPlus) et réduit la dépendance à la causalité AR lors du décodage. Notre travail offre un aperçu approfondi du mécanisme de génération des dLLMs et propose un cadre d'entraînement RL efficace et natif à la diffusion. https://github.com/apple/ml-diffucoder.

English

Diffusion large language models (dLLMs) are compelling alternatives to autoregressive (AR) models because their denoising models operate over the entire sequence. The global planning and iterative refinement features of dLLMs are particularly useful for code generation. However, current training and inference mechanisms for dLLMs in coding are still under-explored. To demystify the decoding behavior of dLLMs and unlock their potential for coding, we systematically investigate their denoising processes and reinforcement learning (RL) methods. We train a 7B dLLM, DiffuCoder, on 130B tokens of code. Using this model as a testbed, we analyze its decoding behavior, revealing how it differs from that of AR models: (1) dLLMs can decide how causal their generation should be without relying on semi-AR decoding, and (2) increasing the sampling temperature diversifies not only token choices but also their generation order. This diversity creates a rich search space for RL rollouts. For RL training, to reduce the variance of token log-likelihood estimates and maintain training efficiency, we propose coupled-GRPO, a novel sampling scheme that constructs complementary mask noise for completions used in training. In our experiments, coupled-GRPO significantly improves DiffuCoder's performance on code generation benchmarks (+4.4\% on EvalPlus) and reduces reliance on AR causal during decoding. Our work provides deeper insight into the machinery of dLLM generation and offers an effective, diffusion-native RL training framework. https://github.com/apple/ml-diffucoder.

DiffuCoder : Comprendre et améliorer les modèles de diffusion masqués pour la génération de code

DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation

Résumé

Support