Enkele Reis: Tijdsonafhankelijke Geünificeerde Encoder voor het Destilleren van Text-naar-Beeld Diffusiemodellen

One-Way Ticket:Time-Independent Unified Encoder for Distilling Text-to-Image Diffusion Models

May 28, 2025

Auteurs: Senmao Li, Lei Wang, Kai Wang, Tao Liu, Jiehang Xie, Joost van de Weijer, Fahad Shahbaz Khan, Shiqi Yang, Yaxing Wang, Jian Yang

cs.AI

Samenvatting

Text-to-Image (T2I) diffusiemodellen hebben opmerkelijke vooruitgang geboekt in generatieve modellering; ze worden echter geconfronteerd met een afweging tussen inferentiesnelheid en beeldkwaliteit, wat uitdagingen oplevert voor efficiënte implementatie. Bestaande gedistilleerde T2I-modellen kunnen hoogwaardige afbeeldingen genereren met minder samplingstappen, maar hebben vaak moeite met diversiteit en kwaliteit, vooral bij éénstapsmodellen. Uit onze analyse blijkt dat er redundante berekeningen plaatsvinden in de UNet-encoders. Onze bevindingen suggereren dat, voor T2I-diffusiemodellen, decoders beter in staat zijn om rijkere en explicietere semantische informatie vast te leggen, terwijl encoders effectief gedeeld kunnen worden over decoders van diverse tijdstappen. Op basis van deze observaties introduceren we de eerste Time-independent Unified Encoder (TiUE) voor de studentmodel UNet-architectuur, wat een lusvrije beeldgeneratiebenadering is voor het distilleren van T2I-diffusiemodellen. Met een éénstapsschema deelt TiUE encoderfeatures over meerdere decoder-tijdstappen, waardoor parallelle sampling mogelijk wordt en de inferentietijdscomplexiteit aanzienlijk wordt verminderd. Daarnaast integreren we een KL-divergentieterm om de ruisvoorspelling te regulariseren, wat de perceptuele realiteit en diversiteit van de gegenereerde afbeeldingen verbetert. Experimentele resultaten tonen aan dat TiUE state-of-the-art methoden, waaronder LCM, SD-Turbo en SwiftBrushv2, overtreft door diversere en realistischer resultaten te produceren, terwijl de rekenkundige efficiëntie behouden blijft.

English

Text-to-Image (T2I) diffusion models have made remarkable advancements in generative modeling; however, they face a trade-off between inference speed and image quality, posing challenges for efficient deployment. Existing distilled T2I models can generate high-fidelity images with fewer sampling steps, but often struggle with diversity and quality, especially in one-step models. From our analysis, we observe redundant computations in the UNet encoders. Our findings suggest that, for T2I diffusion models, decoders are more adept at capturing richer and more explicit semantic information, while encoders can be effectively shared across decoders from diverse time steps. Based on these observations, we introduce the first Time-independent Unified Encoder TiUE for the student model UNet architecture, which is a loop-free image generation approach for distilling T2I diffusion models. Using a one-pass scheme, TiUE shares encoder features across multiple decoder time steps, enabling parallel sampling and significantly reducing inference time complexity. In addition, we incorporate a KL divergence term to regularize noise prediction, which enhances the perceptual realism and diversity of the generated images. Experimental results demonstrate that TiUE outperforms state-of-the-art methods, including LCM, SD-Turbo, and SwiftBrushv2, producing more diverse and realistic results while maintaining the computational efficiency.