Nemotron-Labs-Diffusion-Image : Avancée de la diffusion discrète masquée pour la synthèse d'images haute résolution

Résumé

Nous proposons Nemotron-Labs-Diffusion-Image, un modèle de diffusion discret masqué (MDM) de pointe pour la synthèse texte-image haute résolution. Par rapport aux travaux antérieurs sur la génération d'images masquées, Nemotron-Labs-Diffusion-Image répond à deux défis clés. Premièrement, contrairement aux modèles de diffusion continus qui affinent progressivement les représentations latentes sur l'ensemble de l'image, les MDM standards manquent de capacité d'auto-correction car les tokens discrets ne peuvent pas être modifiés une fois démasqués. Deuxièmement, bien que l'augmentation de la taille du vocabulaire des tokeniseurs d'images discrets améliore la fidélité de reconstruction, elle introduit des difficultés d'optimisation pour la modélisation générative car le signal d'apprentissage par token devient de plus en plus épars. Pour relever le premier défi, Nemotron-Labs-Diffusion-Image intègre un mécanisme d'édition de tokens qui permet au modèle de réviser dynamiquement les tokens déjà démasqués pendant l'inférence, à la manière d'un sculpteur qui affine itérativement son œuvre. Pour résoudre le second défi, nous proposons une objectif d'Entropie Croisée Groupée (ECG) qui attribue des signaux d'apprentissage positifs aux tokens voisins de la vérité terrain dans l'espace d'embedding, atténuant ainsi la rareté du signal. Pour améliorer encore l'efficacité de l'entraînement, nous implémentons un opérateur fusionné personnalisé pour l'ECG qui réduit considérablement l'utilisation de VRAM dans les contextes à grand vocabulaire. Les résultats expérimentaux montrent que ces innovations améliorent substantiellement à la fois l'efficacité de l'entraînement et la fidélité des images des générateurs d'images discrets masqués, atteignant un score de 0,90 sur GenEval, 86,9 sur DPG et 10,76 sur HPSv3.

English

We propose Nemotron-Labs-Diffusion-Image, a state-of-the-art masked discrete diffusion model (MDM) for high-resolution text-to-image synthesis. Compared with prior work on masked image generation, Nemotron-Labs-Diffusion-Image addresses two key challenges. First, unlike continuous diffusion models which progressively refine latent representations across the entire image, standard MDMs lack self-correcting capability because discrete tokens cannot be modified once they are unmasked. Second, although increasing the vocabulary size of discrete image tokenizers improves reconstruction fidelity, it introduces optimization difficulties for generative modeling as the per-token training signal becomes increasingly sparse. To address the first challenge, Nemotron-Labs-Diffusion-Image incorporates a token-editing mechanism that enables the model to dynamically revise already-unmasked tokens during inference, similar to how a sculptor iteratively refines their work. To tackle the second challenge, we propose a Grouped Cross-Entropy (GCE) objective that assigns positive learning signals to tokens neighboring the ground truth in embedding space, thereby alleviating signal sparsity. To further improve training efficiency, we implement a custom fused operator for GCE that significantly reduces VRAM usage in large-vocabulary settings. Experimental results demonstrate that these innovations substantially improve both training efficiency and image fidelity of masked discrete image generators, achieving a score of 0.90 on GenEval, 86.9 on DPG and 10.76 of HPSv3.