Cache Evolutivo para Acelerar Seu Modelo de Difusão Pronto para Uso

Evolutionary Caching to Accelerate Your Off-the-Shelf Diffusion Model

June 18, 2025

Autores: Anirud Aggarwal, Abhinav Shrivastava, Matthew Gwilliam

cs.AI

Resumo

Modelos de geração de imagens baseados em difusão destacam-se na produção de conteúdo sintético de alta qualidade, mas sofrem com inferência lenta e computacionalmente cara. Trabalhos anteriores tentaram mitigar isso armazenando e reutilizando recursos dentro de transformadores de difusão entre etapas de inferência. Esses métodos, no entanto, frequentemente dependem de heurísticas rígidas que resultam em aceleração limitada ou má generalização entre arquiteturas. Propomos o Evolutionary Caching to Accelerate Diffusion models (ECAD), um algoritmo genético que aprende cronogramas de cache eficientes e específicos por modelo, formando uma fronteira de Pareto, usando apenas um pequeno conjunto de prompts de calibração. O ECAD não requer modificações nos parâmetros da rede ou em imagens de referência. Ele oferece acelerações significativas na inferência, permite controle refinado sobre a relação qualidade-latência e se adapta perfeitamente a diferentes modelos de difusão. Notavelmente, os cronogramas aprendidos pelo ECAD podem generalizar efetivamente para resoluções e variantes de modelo não vistas durante a calibração. Avaliamos o ECAD em PixArt-alpha, PixArt-Sigma e FLUX-1.dev usando múltiplas métricas (FID, CLIP, Image Reward) em diversos benchmarks (COCO, MJHQ-30k, PartiPrompts), demonstrando melhorias consistentes em relação a abordagens anteriores. No PixArt-alpha, o ECAD identifica um cronograma que supera o método anterior de última geração em 4.47 COCO FID, enquanto aumenta a aceleração da inferência de 2.35x para 2.58x. Nossos resultados estabelecem o ECAD como uma abordagem escalável e generalizável para acelerar a inferência de difusão. Nosso site do projeto está disponível em https://aniaggarwal.github.io/ecad e nosso código está disponível em https://github.com/aniaggarwal/ecad.

English

Diffusion-based image generation models excel at producing high-quality synthetic content, but suffer from slow and computationally expensive inference. Prior work has attempted to mitigate this by caching and reusing features within diffusion transformers across inference steps. These methods, however, often rely on rigid heuristics that result in limited acceleration or poor generalization across architectures. We propose Evolutionary Caching to Accelerate Diffusion models (ECAD), a genetic algorithm that learns efficient, per-model, caching schedules forming a Pareto frontier, using only a small set of calibration prompts. ECAD requires no modifications to network parameters or reference images. It offers significant inference speedups, enables fine-grained control over the quality-latency trade-off, and adapts seamlessly to different diffusion models. Notably, ECAD's learned schedules can generalize effectively to resolutions and model variants not seen during calibration. We evaluate ECAD on PixArt-alpha, PixArt-Sigma, and FLUX-1.dev using multiple metrics (FID, CLIP, Image Reward) across diverse benchmarks (COCO, MJHQ-30k, PartiPrompts), demonstrating consistent improvements over previous approaches. On PixArt-alpha, ECAD identifies a schedule that outperforms the previous state-of-the-art method by 4.47 COCO FID while increasing inference speedup from 2.35x to 2.58x. Our results establish ECAD as a scalable and generalizable approach for accelerating diffusion inference. Our project website is available at https://aniaggarwal.github.io/ecad and our code is available at https://github.com/aniaggarwal/ecad.