DeCo : Diffusion de pixels à fréquences découplées pour la génération d'images de bout en bout

DeCo: Frequency-Decoupled Pixel Diffusion for End-to-End Image Generation

November 24, 2025

papers.authors: Zehong Ma, Longhui Wei, Shuai Wang, Shiliang Zhang, Qi Tian

cs.AI

papers.abstract

La diffusion de pixels vise à générer des images directement dans l'espace pixel de manière end-to-end. Cette approche évite les limitations du VAE dans la diffusion latente en deux étapes, offrant ainsi une capacité de modèle supérieure. Les modèles existants de diffusion de pixels souffrent d'un entraînement et d'une inférence lents, car ils modélisent généralement à la fois les signaux haute fréquence et la sémantique basse fréquence au sein d'un unique transformeur de diffusion (DiT). Pour développer un paradigme de diffusion de pixels plus efficace, nous proposons le cadre DeCo (Frequency-DeCoupled pixel diffusion). Partant de l'intuition de découpler la génération des composantes haute et basse fréquence, nous utilisons un décodeur de pixels léger pour générer les détails haute fréquence conditionnés par des indications sémantiques provenant du DiT. Cela libère ainsi le DiT pour qu'il se spécialise dans la modélisation de la sémantique basse fréquence. De plus, nous introduisons une perte d'appariement de flux (flow-matching) sensible aux fréquences, qui met l'accent sur les fréquences visuellement saillantes tout en supprimant celles qui sont insignifiantes. Des expériences approfondies montrent que DeCo obtient des performances supérieures parmi les modèles de diffusion de pixels, atteignant un FID de 1,62 (256x256) et 2,22 (512x512) sur ImageNet, réduisant ainsi l'écart avec les méthodes de diffusion latente. Par ailleurs, notre modèle préentraîné de génération d'images à partir de texte atteint un score global leader de 0,86 sur GenEval dans une comparaison au niveau système. Les codes sont disponibles publiquement à l'adresse https://github.com/Zehong-Ma/DeCo.

English

Pixel diffusion aims to generate images directly in pixel space in an end-to-end fashion. This approach avoids the limitations of VAE in the two-stage latent diffusion, offering higher model capacity. Existing pixel diffusion models suffer from slow training and inference, as they usually model both high-frequency signals and low-frequency semantics within a single diffusion transformer (DiT). To pursue a more efficient pixel diffusion paradigm, we propose the frequency-DeCoupled pixel diffusion framework. With the intuition to decouple the generation of high and low frequency components, we leverage a lightweight pixel decoder to generate high-frequency details conditioned on semantic guidance from the DiT. This thus frees the DiT to specialize in modeling low-frequency semantics. In addition, we introduce a frequency-aware flow-matching loss that emphasizes visually salient frequencies while suppressing insignificant ones. Extensive experiments show that DeCo achieves superior performance among pixel diffusion models, attaining FID of 1.62 (256x256) and 2.22 (512x512) on ImageNet, closing the gap with latent diffusion methods. Furthermore, our pretrained text-to-image model achieves a leading overall score of 0.86 on GenEval in system-level comparison. Codes are publicly available at https://github.com/Zehong-Ma/DeCo.