SmoothCache: Uma Técnica Universal de Aceleração de Inferência para Transformadores de Difusão

SmoothCache: A Universal Inference Acceleration Technique for Diffusion Transformers

November 15, 2024

Autores: Joseph Liu, Joshua Geddes, Ziyu Guo, Haomiao Jiang, Mahesh Kumar Nandwana

cs.AI

Resumo

Os Transformadores de Difusão (DiT) surgiram como modelos generativos poderosos para diversas tarefas, incluindo síntese de imagens, vídeos e fala. No entanto, o processo de inferência permanece computacionalmente custoso devido à avaliação repetida de módulos de atenção e feed-forward intensivos em recursos. Para lidar com isso, apresentamos o SmoothCache, uma técnica de aceleração de inferência agnóstica ao modelo para arquiteturas DiT. O SmoothCache aproveita a alta similaridade observada entre as saídas de camada em momentos de difusão adjacentes. Ao analisar os erros de representação por camada a partir de um pequeno conjunto de calibração, o SmoothCache armazena e reutiliza adaptativamente características-chave durante a inferência. Nossos experimentos demonstram que o SmoothCache alcança uma aceleração de 8% a 71%, mantendo ou até mesmo melhorando a qualidade de geração em diversas modalidades. Mostramos sua eficácia no DiT-XL para geração de imagens, no Open-Sora para texto para vídeo e no Stable Audio Open para texto para áudio, destacando seu potencial para viabilizar aplicações em tempo real e ampliar a acessibilidade de modelos DiT poderosos.

English

Diffusion Transformers (DiT) have emerged as powerful generative models for various tasks, including image, video, and speech synthesis. However, their inference process remains computationally expensive due to the repeated evaluation of resource-intensive attention and feed-forward modules. To address this, we introduce SmoothCache, a model-agnostic inference acceleration technique for DiT architectures. SmoothCache leverages the observed high similarity between layer outputs across adjacent diffusion timesteps. By analyzing layer-wise representation errors from a small calibration set, SmoothCache adaptively caches and reuses key features during inference. Our experiments demonstrate that SmoothCache achieves 8% to 71% speed up while maintaining or even improving generation quality across diverse modalities. We showcase its effectiveness on DiT-XL for image generation, Open-Sora for text-to-video, and Stable Audio Open for text-to-audio, highlighting its potential to enable real-time applications and broaden the accessibility of powerful DiT models.