Nemotron-Labs-Diffusion-Image: 고해상도 이미지 합성을 위한 마스킹 이산 확산의 발전

초록

우리는 고해상도 텍스트-이미지 합성을 위한 최첨단 마스크드 이산 확산 모델(MDM)인 Nemotron-Labs-Diffusion-Image를 제안한다. 마스크드 이미지 생성에 대한 이전 연구와 비교하여, Nemotron-Labs-Diffusion-Image는 두 가지 핵심 과제를 해결한다. 첫째, 전체 이미지에 걸쳐 잠재 표현을 점진적으로 개선하는 연속 확산 모델과 달리, 표준 MDM은 이산 토큰이 마스크 해제된 후에는 수정될 수 없기 때문에 자기 교정 능력이 부족하다. 둘째, 이산 이미지 토크나이저의 어휘 크기를 늘리면 재구성 충실도가 향상되지만, 토큰별 훈련 신호가 점점 희소해지면서 생성 모델링에 최적화 어려움이 발생한다. 첫 번째 과제를 해결하기 위해, Nemotron-Labs-Diffusion-Image는 추론 중에 이미 마스크 해제된 토큰을 동적으로 수정할 수 있는 토큰 편집 메커니즘을 도입하는데, 이는 조각가가 작업을 반복적으로 다듬는 방식과 유사하다. 두 번째 과제를 해결하기 위해, 우리는 임베딩 공간에서 정답에 인접한 토큰에 양의 학습 신호를 할당하여 신호 희소성을 완화하는 그룹화된 교차 엔트로피(GCE) 목적 함수를 제안한다. 훈련 효율성을 더욱 향상시키기 위해, 우리는 큰 어휘 설정에서 VRAM 사용량을 크게 줄이는 GCE용 맞춤형 융합 연산자를 구현한다. 실험 결과는 이러한 혁신이 마스크드 이산 이미지 생성기의 훈련 효율성과 이미지 충실도를 모두 실질적으로 향상시켜 GenEval에서 0.90, DPG에서 86.9, HPSv3에서 10.76의 점수를 달성함을 보여준다.

English

We propose Nemotron-Labs-Diffusion-Image, a state-of-the-art masked discrete diffusion model (MDM) for high-resolution text-to-image synthesis. Compared with prior work on masked image generation, Nemotron-Labs-Diffusion-Image addresses two key challenges. First, unlike continuous diffusion models which progressively refine latent representations across the entire image, standard MDMs lack self-correcting capability because discrete tokens cannot be modified once they are unmasked. Second, although increasing the vocabulary size of discrete image tokenizers improves reconstruction fidelity, it introduces optimization difficulties for generative modeling as the per-token training signal becomes increasingly sparse. To address the first challenge, Nemotron-Labs-Diffusion-Image incorporates a token-editing mechanism that enables the model to dynamically revise already-unmasked tokens during inference, similar to how a sculptor iteratively refines their work. To tackle the second challenge, we propose a Grouped Cross-Entropy (GCE) objective that assigns positive learning signals to tokens neighboring the ground truth in embedding space, thereby alleviating signal sparsity. To further improve training efficiency, we implement a custom fused operator for GCE that significantly reduces VRAM usage in large-vocabulary settings. Experimental results demonstrate that these innovations substantially improve both training efficiency and image fidelity of masked discrete image generators, achieving a score of 0.90 on GenEval, 86.9 on DPG and 10.76 of HPSv3.