SmoothCache: Una Técnica Universal de Aceleración de Inferencia para Transformadores de Difusión

SmoothCache: A Universal Inference Acceleration Technique for Diffusion Transformers

November 15, 2024

Autores: Joseph Liu, Joshua Geddes, Ziyu Guo, Haomiao Jiang, Mahesh Kumar Nandwana

cs.AI

Resumen

Los Transformadores de Difusión (DiT) han surgido como modelos generativos potentes para diversas tareas, incluyendo la síntesis de imágenes, videos y habla. Sin embargo, su proceso de inferencia sigue siendo computacionalmente costoso debido a la evaluación repetida de módulos de atención y feed-forward intensivos en recursos. Para abordar esto, presentamos SmoothCache, una técnica de aceleración de inferencia independiente del modelo para arquitecturas DiT. SmoothCache aprovecha la alta similitud observada entre las salidas de capa a lo largo de los pasos de difusión adyacentes. Al analizar los errores de representación por capa a partir de un pequeño conjunto de calibración, SmoothCache almacena de forma adaptativa y reutiliza características clave durante la inferencia. Nuestros experimentos demuestran que SmoothCache logra una aceleración del 8% al 71% manteniendo o incluso mejorando la calidad de generación en diversas modalidades. Mostramos su efectividad en DiT-XL para generación de imágenes, Open-Sora para texto a video, y Stable Audio Open para texto a audio, resaltando su potencial para habilitar aplicaciones en tiempo real y ampliar la accesibilidad de potentes modelos DiT.

English

Diffusion Transformers (DiT) have emerged as powerful generative models for various tasks, including image, video, and speech synthesis. However, their inference process remains computationally expensive due to the repeated evaluation of resource-intensive attention and feed-forward modules. To address this, we introduce SmoothCache, a model-agnostic inference acceleration technique for DiT architectures. SmoothCache leverages the observed high similarity between layer outputs across adjacent diffusion timesteps. By analyzing layer-wise representation errors from a small calibration set, SmoothCache adaptively caches and reuses key features during inference. Our experiments demonstrate that SmoothCache achieves 8% to 71% speed up while maintaining or even improving generation quality across diverse modalities. We showcase its effectiveness on DiT-XL for image generation, Open-Sora for text-to-video, and Stable Audio Open for text-to-audio, highlighting its potential to enable real-time applications and broaden the accessibility of powerful DiT models.