DeCo: Frequentie-ontkoppelde pixeldiffusie voor end-to-end beeldgeneratie

DeCo: Frequency-Decoupled Pixel Diffusion for End-to-End Image Generation

November 24, 2025

Auteurs: Zehong Ma, Longhui Wei, Shuai Wang, Shiliang Zhang, Qi Tian

cs.AI

Samenvatting

Pixeldiffusie heeft als doel om op een end-to-end manier direct afbeeldingen in de pixelruimte te genereren. Deze aanpak vermijdt de beperkingen van VAE in tweestaps latente diffusie en biedt een hogere modelcapaciteit. Bestaande pixeldiffusiemodellen kampen met trage training en inferentie, omdat ze meestal zowel hoogfrequente signalen als laagfrequente semantiek modelleren binnen een enkele diffusietransformer (DiT). Om een efficiënter pixeldiffusieparadigma na te streven, stellen we het frequentie-ontkoppelde pixeldiffusieraamwerk voor. Gebaseerd op de intuïtie om de generatie van hoog- en laagfrequente componenten te ontkoppelen, benutten we een lichtgewicht pixeldecoder om hoogfrequente details te genereren, geconditioneerd op semantische begeleiding van de DiT. Hierdoor kan de DiT zich specialiseren in het modelleren van laagfrequente semantiek. Daarnaast introduceren we een frequentiebewust flow-matching-verlies dat visueel saliënte frequenties benadrukt en onbelangrijke onderdrukt. Uitgebreide experimenten tonen aan dat DeCo superieure prestaties behaalt onder pixeldiffusiemodellen, met een FID van 1.62 (256x256) en 2.22 (512x512) op ImageNet, waardoor de kloof met latente diffusiemethoden wordt gedicht. Bovendien behaalt ons voorgetrainde tekst-naar-afbeelding-model een leidende overall score van 0.86 op GenEval in systeemniveauvergelijking. Code is openbaar beschikbaar op https://github.com/Zehong-Ma/DeCo.

English

Pixel diffusion aims to generate images directly in pixel space in an end-to-end fashion. This approach avoids the limitations of VAE in the two-stage latent diffusion, offering higher model capacity. Existing pixel diffusion models suffer from slow training and inference, as they usually model both high-frequency signals and low-frequency semantics within a single diffusion transformer (DiT). To pursue a more efficient pixel diffusion paradigm, we propose the frequency-DeCoupled pixel diffusion framework. With the intuition to decouple the generation of high and low frequency components, we leverage a lightweight pixel decoder to generate high-frequency details conditioned on semantic guidance from the DiT. This thus frees the DiT to specialize in modeling low-frequency semantics. In addition, we introduce a frequency-aware flow-matching loss that emphasizes visually salient frequencies while suppressing insignificant ones. Extensive experiments show that DeCo achieves superior performance among pixel diffusion models, attaining FID of 1.62 (256x256) and 2.22 (512x512) on ImageNet, closing the gap with latent diffusion methods. Furthermore, our pretrained text-to-image model achieves a leading overall score of 0.86 on GenEval in system-level comparison. Codes are publicly available at https://github.com/Zehong-Ma/DeCo.