Односторонний билет: Временнó-независимый унифицированный энкодер для дистилляции моделей диффузии "текст-изображение"

One-Way Ticket:Time-Independent Unified Encoder for Distilling Text-to-Image Diffusion Models

May 28, 2025

Авторы: Senmao Li, Lei Wang, Kai Wang, Tao Liu, Jiehang Xie, Joost van de Weijer, Fahad Shahbaz Khan, Shiqi Yang, Yaxing Wang, Jian Yang

cs.AI

Аннотация

Модели диффузии Text-to-Image (T2I) достигли значительных успехов в генеративном моделировании; однако они сталкиваются с компромиссом между скоростью вывода и качеством изображения, что создает трудности для эффективного развертывания. Существующие дистиллированные модели T2I способны генерировать изображения высокой точности с меньшим количеством шагов сэмплирования, но часто испытывают проблемы с разнообразием и качеством, особенно в одношаговых моделях. Наш анализ показывает наличие избыточных вычислений в энкодерах UNet. Наши наблюдения свидетельствуют о том, что для моделей диффузии T2I декодеры лучше справляются с захватом более богатой и явной семантической информации, в то время как энкодеры могут эффективно использоваться совместно для декодеров из различных временных шагов. На основе этих наблюдений мы представляем первый Time-independent Unified Encoder (TiUE) для архитектуры UNet в студенческой модели, который представляет собой подход к генерации изображений без циклов для дистилляции моделей диффузии T2I. Используя схему однократного прохода, TiUE делит признаки энкодера между несколькими временными шагами декодера, что позволяет проводить параллельное сэмплирование и значительно снижает временную сложность вывода. Кроме того, мы включаем член расхождения Кульбака-Лейблера для регуляризации предсказания шума, что улучшает перцептуальную реалистичность и разнообразие генерируемых изображений. Экспериментальные результаты показывают, что TiUE превосходит современные методы, включая LCM, SD-Turbo и SwiftBrushv2, создавая более разнообразные и реалистичные результаты при сохранении вычислительной эффективности.

English

Text-to-Image (T2I) diffusion models have made remarkable advancements in generative modeling; however, they face a trade-off between inference speed and image quality, posing challenges for efficient deployment. Existing distilled T2I models can generate high-fidelity images with fewer sampling steps, but often struggle with diversity and quality, especially in one-step models. From our analysis, we observe redundant computations in the UNet encoders. Our findings suggest that, for T2I diffusion models, decoders are more adept at capturing richer and more explicit semantic information, while encoders can be effectively shared across decoders from diverse time steps. Based on these observations, we introduce the first Time-independent Unified Encoder TiUE for the student model UNet architecture, which is a loop-free image generation approach for distilling T2I diffusion models. Using a one-pass scheme, TiUE shares encoder features across multiple decoder time steps, enabling parallel sampling and significantly reducing inference time complexity. In addition, we incorporate a KL divergence term to regularize noise prediction, which enhances the perceptual realism and diversity of the generated images. Experimental results demonstrate that TiUE outperforms state-of-the-art methods, including LCM, SD-Turbo, and SwiftBrushv2, producing more diverse and realistic results while maintaining the computational efficiency.