One-Way Ticket: Zeitunabhängiger einheitlicher Encoder zur Destillation von Text-zu-Bild-Diffusionsmodellen

One-Way Ticket:Time-Independent Unified Encoder for Distilling Text-to-Image Diffusion Models

May 28, 2025

Autoren: Senmao Li, Lei Wang, Kai Wang, Tao Liu, Jiehang Xie, Joost van de Weijer, Fahad Shahbaz Khan, Shiqi Yang, Yaxing Wang, Jian Yang

cs.AI

Zusammenfassung

Text-to-Image (T2I) Diffusionsmodelle haben bemerkenswerte Fortschritte im Bereich des generativen Modellierens erzielt; sie stehen jedoch vor einem Zielkonflikt zwischen Inferenzgeschwindigkeit und Bildqualität, was die effiziente Bereitstellung erschwert. Bestehende destillierte T2I-Modelle können hochwertige Bilder mit weniger Sampling-Schritten erzeugen, kämpfen jedoch oft mit Diversität und Qualität, insbesondere bei Ein-Schritt-Modellen. Aus unserer Analyse geht hervor, dass redundante Berechnungen in den UNet-Encodern auftreten. Unsere Erkenntnisse legen nahe, dass bei T2I-Diffusionsmodellen die Decoder besser geeignet sind, reichhaltigere und explizitere semantische Informationen zu erfassen, während Encoder effektiv über Decoder aus verschiedenen Zeitschritten hinweg geteilt werden können. Basierend auf diesen Beobachtungen führen wir den ersten zeitunabhängigen Unified Encoder (TiUE) für die UNet-Architektur des Schülermodells ein, der einen schleifenfreien Ansatz zur Bildgenerierung für die Destillation von T2I-Diffusionsmodellen darstellt. Durch ein Ein-Pass-Schema teilt TiUE Encoder-Features über mehrere Decoder-Zeitschritte hinweg, ermöglicht paralleles Sampling und reduziert die Inferenzzeitkomplexität erheblich. Zusätzlich integrieren wir einen KL-Divergenz-Term zur Regularisierung der Rauschvorhersage, was den wahrnehmbaren Realismus und die Vielfalt der generierten Bilder verbessert. Experimentelle Ergebnisse zeigen, dass TiUE state-of-the-art Methoden wie LCM, SD-Turbo und SwiftBrushv2 übertrifft, indem es vielfältigere und realistischere Ergebnisse liefert und dabei die Recheneffizienz beibehält.

English

Text-to-Image (T2I) diffusion models have made remarkable advancements in generative modeling; however, they face a trade-off between inference speed and image quality, posing challenges for efficient deployment. Existing distilled T2I models can generate high-fidelity images with fewer sampling steps, but often struggle with diversity and quality, especially in one-step models. From our analysis, we observe redundant computations in the UNet encoders. Our findings suggest that, for T2I diffusion models, decoders are more adept at capturing richer and more explicit semantic information, while encoders can be effectively shared across decoders from diverse time steps. Based on these observations, we introduce the first Time-independent Unified Encoder TiUE for the student model UNet architecture, which is a loop-free image generation approach for distilling T2I diffusion models. Using a one-pass scheme, TiUE shares encoder features across multiple decoder time steps, enabling parallel sampling and significantly reducing inference time complexity. In addition, we incorporate a KL divergence term to regularize noise prediction, which enhances the perceptual realism and diversity of the generated images. Experimental results demonstrate that TiUE outperforms state-of-the-art methods, including LCM, SD-Turbo, and SwiftBrushv2, producing more diverse and realistic results while maintaining the computational efficiency.