DeCo: Difusão de Pixels com Desacoplamento de Frequência para Geração de Imagens End-to-End
DeCo: Frequency-Decoupled Pixel Diffusion for End-to-End Image Generation
November 24, 2025
Autores: Zehong Ma, Longhui Wei, Shuai Wang, Shiliang Zhang, Qi Tian
cs.AI
Resumo
A difusão de pixels visa gerar imagens diretamente no espaço de pixels de forma ponta a ponta. Esta abordagem evita as limitações do VAE na difusão latente em dois estágios, oferecendo maior capacidade do modelo. Os modelos existentes de difusão de pixels sofrem com treinamento e inferência lentos, pois geralmente modelam sinais de alta frequência e semântica de baixa frequência dentro de um único transformer de difusão (DiT). Para buscar um paradigma de difusão de pixels mais eficiente, propomos a estrutura de difusão de pixels com Desacoplamento de Frequência (DeCo). Com a intuição de desacoplar a geração de componentes de alta e baixa frequência, aproveitamos um decodificador de pixels leve para gerar detalhes de alta frequência condicionados na orientação semântica do DiT. Isso libera o DiT para se especializar na modelagem de semântica de baixa frequência. Além disso, introduzimos uma perda de correspondência de fluxo consciente da frequência que enfatiza frequências visualmente salientes enquanto suprime as insignificantes. Experimentos extensivos mostram que o DeCo alcança desempenho superior entre os modelos de difusão de pixels, obtendo FID de 1,62 (256x256) e 2,22 (512x512) no ImageNet, fechando a lacuna com os métodos de difusão latente. Além disso, nosso modelo pré-treinado de texto para imagem alcança uma pontuação geral líder de 0,86 no GenEval em comparação a nível de sistema. Os códigos estão publicamente disponíveis em https://github.com/Zehong-Ma/DeCo.
English
Pixel diffusion aims to generate images directly in pixel space in an end-to-end fashion. This approach avoids the limitations of VAE in the two-stage latent diffusion, offering higher model capacity. Existing pixel diffusion models suffer from slow training and inference, as they usually model both high-frequency signals and low-frequency semantics within a single diffusion transformer (DiT). To pursue a more efficient pixel diffusion paradigm, we propose the frequency-DeCoupled pixel diffusion framework. With the intuition to decouple the generation of high and low frequency components, we leverage a lightweight pixel decoder to generate high-frequency details conditioned on semantic guidance from the DiT. This thus frees the DiT to specialize in modeling low-frequency semantics. In addition, we introduce a frequency-aware flow-matching loss that emphasizes visually salient frequencies while suppressing insignificant ones. Extensive experiments show that DeCo achieves superior performance among pixel diffusion models, attaining FID of 1.62 (256x256) and 2.22 (512x512) on ImageNet, closing the gap with latent diffusion methods. Furthermore, our pretrained text-to-image model achieves a leading overall score of 0.86 on GenEval in system-level comparison. Codes are publicly available at https://github.com/Zehong-Ma/DeCo.