Caching evolutivo per accelerare il tuo modello di diffusione preconfigurato

Evolutionary Caching to Accelerate Your Off-the-Shelf Diffusion Model

June 18, 2025

Autori: Anirud Aggarwal, Abhinav Shrivastava, Matthew Gwilliam

cs.AI

Abstract

I modelli di generazione di immagini basati su diffusione eccellono nella produzione di contenuti sintetici di alta qualità, ma soffrono di un'inferenza lenta e computazionalmente costosa. Ricerche precedenti hanno tentato di mitigare questo problema memorizzando e riutilizzando le caratteristiche all'interno dei transformer di diffusione tra i passi di inferenza. Tuttavia, questi metodi spesso si basano su euristiche rigide che risultano in un'accelerazione limitata o in una scarsa generalizzazione tra le architetture. Proponiamo Evolutionary Caching to Accelerate Diffusion models (ECAD), un algoritmo genetico che apprende efficienti pianificazioni di memorizzazione specifiche per modello, formando una frontiera di Pareto, utilizzando solo un piccolo insieme di prompt di calibrazione. ECAD non richiede modifiche ai parametri della rete o alle immagini di riferimento. Offre significativi miglioramenti nella velocità di inferenza, consente un controllo fine sulla compensazione qualità-latenza e si adatta senza soluzione di continuità a diversi modelli di diffusione. In particolare, le pianificazioni apprese da ECAD possono generalizzare efficacemente a risoluzioni e varianti di modello non viste durante la calibrazione. Valutiamo ECAD su PixArt-alpha, PixArt-Sigma e FLUX-1.dev utilizzando molteplici metriche (FID, CLIP, Image Reward) su diversi benchmark (COCO, MJHQ-30k, PartiPrompts), dimostrando miglioramenti consistenti rispetto agli approcci precedenti. Su PixArt-alpha, ECAD identifica una pianificazione che supera il precedente metodo state-of-the-art di 4.47 COCO FID, aumentando l'accelerazione dell'inferenza da 2.35x a 2.58x. I nostri risultati stabiliscono ECAD come un approccio scalabile e generalizzabile per accelerare l'inferenza di diffusione. Il nostro sito web del progetto è disponibile all'indirizzo https://aniaggarwal.github.io/ecad e il nostro codice è disponibile all'indirizzo https://github.com/aniaggarwal/ecad.

English

Diffusion-based image generation models excel at producing high-quality synthetic content, but suffer from slow and computationally expensive inference. Prior work has attempted to mitigate this by caching and reusing features within diffusion transformers across inference steps. These methods, however, often rely on rigid heuristics that result in limited acceleration or poor generalization across architectures. We propose Evolutionary Caching to Accelerate Diffusion models (ECAD), a genetic algorithm that learns efficient, per-model, caching schedules forming a Pareto frontier, using only a small set of calibration prompts. ECAD requires no modifications to network parameters or reference images. It offers significant inference speedups, enables fine-grained control over the quality-latency trade-off, and adapts seamlessly to different diffusion models. Notably, ECAD's learned schedules can generalize effectively to resolutions and model variants not seen during calibration. We evaluate ECAD on PixArt-alpha, PixArt-Sigma, and FLUX-1.dev using multiple metrics (FID, CLIP, Image Reward) across diverse benchmarks (COCO, MJHQ-30k, PartiPrompts), demonstrating consistent improvements over previous approaches. On PixArt-alpha, ECAD identifies a schedule that outperforms the previous state-of-the-art method by 4.47 COCO FID while increasing inference speedup from 2.35x to 2.58x. Our results establish ECAD as a scalable and generalizable approach for accelerating diffusion inference. Our project website is available at https://aniaggarwal.github.io/ecad and our code is available at https://github.com/aniaggarwal/ecad.