Nemotron-Labs-Diffusion-Image: Avances en Difusión Discreta Enmascarada para la Síntesis de Imágenes de Alta Resolución

Resumen

Proponemos Nemotron-Labs-Diffusion-Image, un modelo de difusión discreta enmascarada (MDM) de última generación para síntesis de texto a imagen de alta resolución. En comparación con trabajos previos sobre generación de imágenes enmascaradas, Nemotron-Labs-Diffusion-Image aborda dos desafíos clave. Primero, a diferencia de los modelos de difusión continua que refinan progresivamente las representaciones latentes en toda la imagen, los MDM estándar carecen de capacidad de autocorrección porque los tokens discretos no pueden modificarse una vez que se revelan. Segundo, aunque aumentar el tamaño del vocabulario de los tokenizadores de imágenes discretas mejora la fidelidad de reconstrucción, introduce dificultades de optimización para el modelado generativo, ya que la señal de entrenamiento por token se vuelve cada vez más dispersa. Para abordar el primer desafío, Nemotron-Labs-Diffusion-Image incorpora un mecanismo de edición de tokens que permite al modelo revisar dinámicamente los tokens ya revelados durante la inferencia, de manera similar a cómo un escultor refina iterativamente su obra. Para enfrentar el segundo desafío, proponemos un objetivo de Entropía Cruzada Agrupada (GCE) que asigna señales de aprendizaje positivas a los tokens vecinos al valor real en el espacio de embeddings, mitigando así la dispersión de la señal. Para mejorar aún más la eficiencia del entrenamiento, implementamos un operador fusionado personalizado para GCE que reduce significativamente el uso de VRAM en configuraciones con vocabularios grandes. Los resultados experimentales demuestran que estas innovaciones mejoran sustancialmente tanto la eficiencia del entrenamiento como la fidelidad de las imágenes generadas por modelos de imágenes discretas enmascarados, alcanzando una puntuación de 0.90 en GenEval, 86.9 en DPG y 10.76 en HPSv3.

English

We propose Nemotron-Labs-Diffusion-Image, a state-of-the-art masked discrete diffusion model (MDM) for high-resolution text-to-image synthesis. Compared with prior work on masked image generation, Nemotron-Labs-Diffusion-Image addresses two key challenges. First, unlike continuous diffusion models which progressively refine latent representations across the entire image, standard MDMs lack self-correcting capability because discrete tokens cannot be modified once they are unmasked. Second, although increasing the vocabulary size of discrete image tokenizers improves reconstruction fidelity, it introduces optimization difficulties for generative modeling as the per-token training signal becomes increasingly sparse. To address the first challenge, Nemotron-Labs-Diffusion-Image incorporates a token-editing mechanism that enables the model to dynamically revise already-unmasked tokens during inference, similar to how a sculptor iteratively refines their work. To tackle the second challenge, we propose a Grouped Cross-Entropy (GCE) objective that assigns positive learning signals to tokens neighboring the ground truth in embedding space, thereby alleviating signal sparsity. To further improve training efficiency, we implement a custom fused operator for GCE that significantly reduces VRAM usage in large-vocabulary settings. Experimental results demonstrate that these innovations substantially improve both training efficiency and image fidelity of masked discrete image generators, achieving a score of 0.90 on GenEval, 86.9 on DPG and 10.76 of HPSv3.