Billet aller simple : Encodeur unifié indépendant du temps pour la distillation des modèles de diffusion texte-image

One-Way Ticket:Time-Independent Unified Encoder for Distilling Text-to-Image Diffusion Models

May 28, 2025

Auteurs: Senmao Li, Lei Wang, Kai Wang, Tao Liu, Jiehang Xie, Joost van de Weijer, Fahad Shahbaz Khan, Shiqi Yang, Yaxing Wang, Jian Yang

cs.AI

Résumé

Les modèles de diffusion Texte-à-Image (T2I) ont réalisé des avancées remarquables dans la modélisation générative ; cependant, ils sont confrontés à un compromis entre la vitesse d'inférence et la qualité de l'image, posant des défis pour un déploiement efficace. Les modèles T2I distillés existants peuvent générer des images de haute fidélité avec moins d'étapes d'échantillonnage, mais ils peinent souvent à maintenir la diversité et la qualité, en particulier dans les modèles à une étape. D'après notre analyse, nous observons des calculs redondants dans les encodeurs UNet. Nos résultats suggèrent que, pour les modèles de diffusion T2I, les décodeurs sont plus aptes à capturer des informations sémantiques plus riches et plus explicites, tandis que les encodeurs peuvent être efficacement partagés entre les décodeurs de différentes étapes temporelles. Sur la base de ces observations, nous introduisons le premier Encodeur Unifié Indépendant du Temps (TiUE) pour l'architecture UNet du modèle étudiant, qui est une approche de génération d'images sans boucle pour la distillation des modèles de diffusion T2I. En utilisant un schéma à passage unique, TiUE partage les caractéristiques de l'encodeur entre plusieurs étapes temporelles du décodeur, permettant un échantillonnage parallèle et réduisant significativement la complexité temporelle de l'inférence. De plus, nous intégrons un terme de divergence KL pour régulariser la prédiction du bruit, ce qui améliore le réalisme perceptuel et la diversité des images générées. Les résultats expérimentaux démontrent que TiUE surpasse les méthodes de pointe, y compris LCM, SD-Turbo et SwiftBrushv2, en produisant des résultats plus diversifiés et réalistes tout en maintenant l'efficacité computationnelle.

English

Text-to-Image (T2I) diffusion models have made remarkable advancements in generative modeling; however, they face a trade-off between inference speed and image quality, posing challenges for efficient deployment. Existing distilled T2I models can generate high-fidelity images with fewer sampling steps, but often struggle with diversity and quality, especially in one-step models. From our analysis, we observe redundant computations in the UNet encoders. Our findings suggest that, for T2I diffusion models, decoders are more adept at capturing richer and more explicit semantic information, while encoders can be effectively shared across decoders from diverse time steps. Based on these observations, we introduce the first Time-independent Unified Encoder TiUE for the student model UNet architecture, which is a loop-free image generation approach for distilling T2I diffusion models. Using a one-pass scheme, TiUE shares encoder features across multiple decoder time steps, enabling parallel sampling and significantly reducing inference time complexity. In addition, we incorporate a KL divergence term to regularize noise prediction, which enhances the perceptual realism and diversity of the generated images. Experimental results demonstrate that TiUE outperforms state-of-the-art methods, including LCM, SD-Turbo, and SwiftBrushv2, producing more diverse and realistic results while maintaining the computational efficiency.