Caché Evolutivo para Acelerar tu Modelo de Difusión Estándar

Evolutionary Caching to Accelerate Your Off-the-Shelf Diffusion Model

June 18, 2025

Autores: Anirud Aggarwal, Abhinav Shrivastava, Matthew Gwilliam

cs.AI

Resumen

Los modelos de generación de imágenes basados en difusión destacan por producir contenido sintético de alta calidad, pero adolecen de una inferencia lenta y computacionalmente costosa. Trabajos previos han intentado mitigar esto mediante el almacenamiento en caché y la reutilización de características dentro de transformadores de difusión a lo largo de los pasos de inferencia. Sin embargo, estos métodos suelen depender de heurísticas rígidas que resultan en una aceleración limitada o una mala generalización entre arquitecturas. Proponemos Evolutionary Caching to Accelerate Diffusion models (ECAD), un algoritmo genético que aprende horarios de almacenamiento en caché eficientes y específicos para cada modelo, formando una frontera de Pareto, utilizando solo un pequeño conjunto de indicaciones de calibración. ECAD no requiere modificaciones en los parámetros de la red ni en imágenes de referencia. Ofrece aceleraciones significativas en la inferencia, permite un control detallado sobre el equilibrio entre calidad y latencia, y se adapta sin problemas a diferentes modelos de difusión. Notablemente, los horarios aprendidos por ECAD pueden generalizarse efectivamente a resoluciones y variantes de modelos no vistas durante la calibración. Evaluamos ECAD en PixArt-alpha, PixArt-Sigma y FLUX-1.dev utilizando múltiples métricas (FID, CLIP, Image Reward) en diversos puntos de referencia (COCO, MJHQ-30k, PartiPrompts), demostrando mejoras consistentes sobre enfoques anteriores. En PixArt-alpha, ECAD identifica un horario que supera al método anterior más avanzado en 4.47 COCO FID mientras aumenta la aceleración de la inferencia de 2.35x a 2.58x. Nuestros resultados establecen a ECAD como un enfoque escalable y generalizable para acelerar la inferencia de difusión. Nuestro sitio web del proyecto está disponible en https://aniaggarwal.github.io/ecad y nuestro código está disponible en https://github.com/aniaggarwal/ecad.

English

Diffusion-based image generation models excel at producing high-quality synthetic content, but suffer from slow and computationally expensive inference. Prior work has attempted to mitigate this by caching and reusing features within diffusion transformers across inference steps. These methods, however, often rely on rigid heuristics that result in limited acceleration or poor generalization across architectures. We propose Evolutionary Caching to Accelerate Diffusion models (ECAD), a genetic algorithm that learns efficient, per-model, caching schedules forming a Pareto frontier, using only a small set of calibration prompts. ECAD requires no modifications to network parameters or reference images. It offers significant inference speedups, enables fine-grained control over the quality-latency trade-off, and adapts seamlessly to different diffusion models. Notably, ECAD's learned schedules can generalize effectively to resolutions and model variants not seen during calibration. We evaluate ECAD on PixArt-alpha, PixArt-Sigma, and FLUX-1.dev using multiple metrics (FID, CLIP, Image Reward) across diverse benchmarks (COCO, MJHQ-30k, PartiPrompts), demonstrating consistent improvements over previous approaches. On PixArt-alpha, ECAD identifies a schedule that outperforms the previous state-of-the-art method by 4.47 COCO FID while increasing inference speedup from 2.35x to 2.58x. Our results establish ECAD as a scalable and generalizable approach for accelerating diffusion inference. Our project website is available at https://aniaggarwal.github.io/ecad and our code is available at https://github.com/aniaggarwal/ecad.