Nemotron-Labs-Diffusion-Image: Weiterentwicklung der maskierten diskreten Diffusion für die hochauflösende Bildsynthese

Zusammenfassung

Wir stellen Nemotron-Labs-Diffusion-Image vor, ein modernstes maskiertes diskretes Diffusionsmodell (MDM) für die hochauflösende Text-zu-Bild-Synthese. Im Vergleich zu früheren Arbeiten zur maskierten Bilderzeugung adressiert Nemotron-Labs-Diffusion-Image zwei zentrale Herausforderungen. Erstens: Anders als kontinuierliche Diffusionsmodelle, die latente Darstellungen schrittweise über das gesamte Bild verfeinern, fehlt standardmäßigen MDMs die Fähigkeit zur Selbstkorrektur, da diskrete Tokens nach ihrer Entmaskierung nicht mehr geändert werden können. Zweitens: Obwohl eine Vergrößerung des Vokabulars diskreter Bildtokenisierer die Rekonstruktionstreue verbessert, führt dies zu Optimierungsschwierigkeiten bei der generativen Modellierung, da das Trainingssignal pro Token zunehmend spärlich wird. Zur Bewältigung der ersten Herausforderung integriert Nemotron-Labs-Diffusion-Image einen Token-Bearbeitungsmechanismus, der es dem Modell ermöglicht, bereits unmaskierte Tokens während der Inferenz dynamisch zu überarbeiten – ähnlich wie ein Bildhauer seine Arbeit iterativ verfeinert. Um die zweite Herausforderung anzugehen, schlagen wir ein gruppiertes Kreuzentropieverfahren (Grouped Cross-Entropy, GCE) vor, das benachbarten Tokens im Einbettungsraum positive Lernsignale zuweist und so die Signalspärlichkeit verringert. Zur weiteren Steigerung der Trainingseffizienz implementieren wir einen eigens entwickelten fusionierten Operator für GCE, der den VRAM-Verbrauch bei großen Vokabularen deutlich reduziert. Experimentelle Ergebnisse zeigen, dass diese Neuerungen sowohl die Trainingseffizienz als auch die Bildtreue von maskierten diskreten Bildgeneratoren wesentlich verbessern, mit einem Wert von 0,90 bei GenEval, 86,9 bei DPG und 10,76 bei HPSv3.

English

We propose Nemotron-Labs-Diffusion-Image, a state-of-the-art masked discrete diffusion model (MDM) for high-resolution text-to-image synthesis. Compared with prior work on masked image generation, Nemotron-Labs-Diffusion-Image addresses two key challenges. First, unlike continuous diffusion models which progressively refine latent representations across the entire image, standard MDMs lack self-correcting capability because discrete tokens cannot be modified once they are unmasked. Second, although increasing the vocabulary size of discrete image tokenizers improves reconstruction fidelity, it introduces optimization difficulties for generative modeling as the per-token training signal becomes increasingly sparse. To address the first challenge, Nemotron-Labs-Diffusion-Image incorporates a token-editing mechanism that enables the model to dynamically revise already-unmasked tokens during inference, similar to how a sculptor iteratively refines their work. To tackle the second challenge, we propose a Grouped Cross-Entropy (GCE) objective that assigns positive learning signals to tokens neighboring the ground truth in embedding space, thereby alleviating signal sparsity. To further improve training efficiency, we implement a custom fused operator for GCE that significantly reduces VRAM usage in large-vocabulary settings. Experimental results demonstrate that these innovations substantially improve both training efficiency and image fidelity of masked discrete image generators, achieving a score of 0.90 on GenEval, 86.9 on DPG and 10.76 of HPSv3.