SmoothCache: Универсальная техника ускорения вывода для трансформеров распространения.

SmoothCache: A Universal Inference Acceleration Technique for Diffusion Transformers

November 15, 2024

Авторы: Joseph Liu, Joshua Geddes, Ziyu Guo, Haomiao Jiang, Mahesh Kumar Nandwana

cs.AI

Аннотация

Диффузионные трансформеры (DiT) стали мощными генеративными моделями для различных задач, включая синтез изображений, видео и речи. Однако их процесс вывода остается вычислительно затратным из-за повторного оценивания ресурсоемких модулей внимания и прямого распространения. Для решения этой проблемы мы представляем SmoothCache, модельно-независимую технику ускорения вывода для архитектур DiT. SmoothCache использует наблюдаемую высокую схожесть между выходами слоев на смежных временных шагах диффузии. Анализируя ошибки представления слоев из небольшого калибровочного набора, SmoothCache адаптивно кэширует и повторно использует ключевые характеристики во время вывода. Наши эксперименты показывают, что SmoothCache достигает ускорения от 8% до 71%, сохраняя или даже улучшая качество генерации в различных модальностях. Мы продемонстрировали его эффективность на DiT-XL для генерации изображений, Open-Sora для текста-видео и Stable Audio Open для текста-аудио, подчеркивая его потенциал для реального времени и расширения доступности мощных моделей DiT.

English

Diffusion Transformers (DiT) have emerged as powerful generative models for various tasks, including image, video, and speech synthesis. However, their inference process remains computationally expensive due to the repeated evaluation of resource-intensive attention and feed-forward modules. To address this, we introduce SmoothCache, a model-agnostic inference acceleration technique for DiT architectures. SmoothCache leverages the observed high similarity between layer outputs across adjacent diffusion timesteps. By analyzing layer-wise representation errors from a small calibration set, SmoothCache adaptively caches and reuses key features during inference. Our experiments demonstrate that SmoothCache achieves 8% to 71% speed up while maintaining or even improving generation quality across diverse modalities. We showcase its effectiveness on DiT-XL for image generation, Open-Sora for text-to-video, and Stable Audio Open for text-to-audio, highlighting its potential to enable real-time applications and broaden the accessibility of powerful DiT models.