DeCo: Difusión de Píxeles con Desacoplamiento de Frecuencias para la Generación de Imágenes de Extremo a Extremo

DeCo: Frequency-Decoupled Pixel Diffusion for End-to-End Image Generation

November 24, 2025

Autores: Zehong Ma, Longhui Wei, Shuai Wang, Shiliang Zhang, Qi Tian

cs.AI

Resumen

La difusión en píxeles tiene como objetivo generar imágenes directamente en el espacio de píxeles de manera extremo a extremo. Este enfoque evita las limitaciones del VAE en la difusión latente en dos etapas, ofreciendo una mayor capacidad del modelo. Los modelos existentes de difusión en píxeles adolecen de un entrenamiento e inferencia lentos, ya que suelen modelar tanto señales de alta frecuencia como semántica de baja frecuencia dentro de un único transformador de difusión (DiT). Para lograr un paradigma de difusión en píxeles más eficiente, proponemos el marco de difusión en píxeles con Desacoplamiento de Frecuencias (DeCo). Con la intuición de desacoplar la generación de componentes de alta y baja frecuencia, aprovechamos un decodificador de píxeles ligero para generar detalles de alta frecuencia condicionados por la guía semántica del DiT. Esto libera al DiT para especializarse en modelar la semántica de baja frecuencia. Adicionalmente, introducimos una pérdida de correspondencia de flujo consciente de la frecuencia que enfatiza las frecuencias visualmente salientessuprimiendo las insignificantes. Experimentos exhaustivos muestran que DeCo logra un rendimiento superior entre los modelos de difusión en píxeles, alcanzando un FID de 1.62 (256x256) y 2.22 (512x512) en ImageNet, cerrando la brecha con los métodos de difusión latente. Además, nuestro modelo preentrenado de texto a imagen alcanza una puntuación general líder de 0.86 en GenEval en comparación a nivel de sistema. Los códigos están disponibles públicamente en https://github.com/Zehong-Ma/DeCo.

English

Pixel diffusion aims to generate images directly in pixel space in an end-to-end fashion. This approach avoids the limitations of VAE in the two-stage latent diffusion, offering higher model capacity. Existing pixel diffusion models suffer from slow training and inference, as they usually model both high-frequency signals and low-frequency semantics within a single diffusion transformer (DiT). To pursue a more efficient pixel diffusion paradigm, we propose the frequency-DeCoupled pixel diffusion framework. With the intuition to decouple the generation of high and low frequency components, we leverage a lightweight pixel decoder to generate high-frequency details conditioned on semantic guidance from the DiT. This thus frees the DiT to specialize in modeling low-frequency semantics. In addition, we introduce a frequency-aware flow-matching loss that emphasizes visually salient frequencies while suppressing insignificant ones. Extensive experiments show that DeCo achieves superior performance among pixel diffusion models, attaining FID of 1.62 (256x256) and 2.22 (512x512) on ImageNet, closing the gap with latent diffusion methods. Furthermore, our pretrained text-to-image model achieves a leading overall score of 0.86 on GenEval in system-level comparison. Codes are publicly available at https://github.com/Zehong-Ma/DeCo.