DiffuCoder: Comprensión y mejora de modelos de difusión enmascarados para la generación de código

Resumen

Los modelos de lenguaje de difusión a gran escala (dLLMs, por sus siglas en inglés) son alternativas convincentes a los modelos autorregresivos (AR) porque sus modelos de eliminación de ruido operan sobre la secuencia completa. Las características de planificación global y refinamiento iterativo de los dLLMs son particularmente útiles para la generación de código. Sin embargo, los mecanismos actuales de entrenamiento e inferencia para dLLMs en el ámbito de la codificación aún están poco explorados. Para desentrañar el comportamiento de decodificación de los dLLMs y desbloquear su potencial en la codificación, investigamos sistemáticamente sus procesos de eliminación de ruido y métodos de aprendizaje por refuerzo (RL). Entrenamos un dLLM de 7B, llamado DiffuCoder, con 130B tokens de código. Utilizando este modelo como banco de pruebas, analizamos su comportamiento de decodificación, revelando cómo difiere del de los modelos AR: (1) los dLLMs pueden decidir cuán causal debe ser su generación sin depender de la decodificación semi-AR, y (2) aumentar la temperatura de muestreo no solo diversifica las elecciones de tokens, sino también su orden de generación. Esta diversidad crea un espacio de búsqueda rico para las iteraciones de RL. Para el entrenamiento de RL, con el fin de reducir la varianza de las estimaciones de verosimilitud de los tokens y mantener la eficiencia del entrenamiento, proponemos coupled-GRPO, un esquema de muestreo novedoso que construye ruido de máscara complementario para las completaciones utilizadas en el entrenamiento. En nuestros experimentos, coupled-GRPO mejora significativamente el rendimiento de DiffuCoder en benchmarks de generación de código (+4.4% en EvalPlus) y reduce la dependencia de la causalidad AR durante la decodificación. Nuestro trabajo proporciona una visión más profunda del funcionamiento de la generación en dLLMs y ofrece un marco de entrenamiento de RL efectivo y nativo para la difusión. https://github.com/apple/ml-diffucoder.

English

Diffusion large language models (dLLMs) are compelling alternatives to autoregressive (AR) models because their denoising models operate over the entire sequence. The global planning and iterative refinement features of dLLMs are particularly useful for code generation. However, current training and inference mechanisms for dLLMs in coding are still under-explored. To demystify the decoding behavior of dLLMs and unlock their potential for coding, we systematically investigate their denoising processes and reinforcement learning (RL) methods. We train a 7B dLLM, DiffuCoder, on 130B tokens of code. Using this model as a testbed, we analyze its decoding behavior, revealing how it differs from that of AR models: (1) dLLMs can decide how causal their generation should be without relying on semi-AR decoding, and (2) increasing the sampling temperature diversifies not only token choices but also their generation order. This diversity creates a rich search space for RL rollouts. For RL training, to reduce the variance of token log-likelihood estimates and maintain training efficiency, we propose coupled-GRPO, a novel sampling scheme that constructs complementary mask noise for completions used in training. In our experiments, coupled-GRPO significantly improves DiffuCoder's performance on code generation benchmarks (+4.4\% on EvalPlus) and reduces reliance on AR causal during decoding. Our work provides deeper insight into the machinery of dLLM generation and offers an effective, diffusion-native RL training framework. https://github.com/apple/ml-diffucoder.

DiffuCoder: Comprensión y mejora de modelos de difusión enmascarados para la generación de código

DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation

Resumen

Support