DeCo: Частотно-развязанная пиксельная диффузия для сквозной генерации изображений

DeCo: Frequency-Decoupled Pixel Diffusion for End-to-End Image Generation

November 24, 2025

Авторы: Zehong Ma, Longhui Wei, Shuai Wang, Shiliang Zhang, Qi Tian

cs.AI

Аннотация

Пиксельная диффузия ставит целью генерацию изображений непосредственно в пространстве пикселей сквозным образом. Данный подход позволяет избежать ограничений VAE в двухэтапной латентной диффузии, обеспечивая более высокую емкость модели. Существующие модели пиксельной диффузии страдают от медленного обучения и вывода, поскольку они обычно моделируют как высокочастотные сигналы, так и низкочастотную семантику в рамках единого диффузионного трансформера (DiT). В поисках более эффективной парадигмы пиксельной диффузии мы предлагаем частотно-развязанную структуру пиксельной диффузии. Руководствуясь интуицией о необходимости разделения генерации высокочастотных и низкочастотных компонентов, мы используем облегченный пиксельный декодер для генерации высокочастотных деталей, обусловленных семантическими ориентирами от DiT. Это позволяет DiT специализироваться на моделировании низкочастотной семантики. Кроме того, мы вводим частотно-чувствительную loss-функцию flow-matching, которая акцентирует визуально значимые частоты, подавляя незначимые. Многочисленные эксперименты показывают, что DeCo демонстрирует превосходную производительность среди моделей пиксельной диффузии, достигая FID 1.62 (256x256) и 2.22 (512x512) на ImageNet, сокращая разрыв с методами латентной диффузии. Более того, наша предобученная тексто-изобразительная модель достигает лидирующего общего балла 0.86 на GenEval в системном сравнении. Код общедоступен по адресу https://github.com/Zehong-Ma/DeCo.

English

Pixel diffusion aims to generate images directly in pixel space in an end-to-end fashion. This approach avoids the limitations of VAE in the two-stage latent diffusion, offering higher model capacity. Existing pixel diffusion models suffer from slow training and inference, as they usually model both high-frequency signals and low-frequency semantics within a single diffusion transformer (DiT). To pursue a more efficient pixel diffusion paradigm, we propose the frequency-DeCoupled pixel diffusion framework. With the intuition to decouple the generation of high and low frequency components, we leverage a lightweight pixel decoder to generate high-frequency details conditioned on semantic guidance from the DiT. This thus frees the DiT to specialize in modeling low-frequency semantics. In addition, we introduce a frequency-aware flow-matching loss that emphasizes visually salient frequencies while suppressing insignificant ones. Extensive experiments show that DeCo achieves superior performance among pixel diffusion models, attaining FID of 1.62 (256x256) and 2.22 (512x512) on ImageNet, closing the gap with latent diffusion methods. Furthermore, our pretrained text-to-image model achieves a leading overall score of 0.86 on GenEval in system-level comparison. Codes are publicly available at https://github.com/Zehong-Ma/DeCo.