Evolutionaire caching om uw standaard diffusiemodel te versnellen

Evolutionary Caching to Accelerate Your Off-the-Shelf Diffusion Model

June 18, 2025

Auteurs: Anirud Aggarwal, Abhinav Shrivastava, Matthew Gwilliam

cs.AI

Samenvatting

Diffusiegebaseerde beeldgeneratiemodellen blinken uit in het produceren van hoogwaardige synthetische inhoud, maar kampen met trage en rekenkundig dure inferentie. Eerdere werkzaamheden hebben geprobeerd dit te verlichten door kenmerken binnen diffusie-transformers tussen inferentiestappen te cachen en te hergebruiken. Deze methoden vertrouwen echter vaak op rigide heuristieken die resulteren in beperkte versnelling of slechte generalisatie over verschillende architecturen. Wij stellen Evolutionair Cachen om Diffusiemodellen te Versnellen (ECAD) voor, een genetisch algoritme dat efficiënte, per-model cacheschema's leert die een Pareto-front vormen, met behulp van slechts een kleine set calibratieprompts. ECAD vereist geen aanpassingen aan netwerkparameters of referentiebeelden. Het biedt aanzienlijke versnellingen in inferentie, maakt fijnmazige controle over de kwaliteit-latentie trade-off mogelijk, en past zich naadloos aan verschillende diffusiemodellen aan. Opmerkelijk is dat de geleerde schema's van ECAD effectief kunnen generaliseren naar resoluties en modelvarianten die niet zijn gezien tijdens de calibratie. We evalueren ECAD op PixArt-alpha, PixArt-Sigma en FLUX-1.dev met behulp van meerdere metrieken (FID, CLIP, Image Reward) over diverse benchmarks (COCO, MJHQ-30k, PartiPrompts), en tonen consistente verbeteringen aan ten opzichte van eerdere benaderingen. Op PixArt-alpha identificeert ECAD een schema dat de vorige state-of-the-art methode overtreft met 4.47 COCO FID terwijl de inferentieversnelling wordt verhoogd van 2.35x naar 2.58x. Onze resultaten vestigen ECAD als een schaalbare en generaliseerbare aanpak voor het versnellen van diffusie-inferentie. Onze projectwebsite is beschikbaar op https://aniaggarwal.github.io/ecad en onze code is beschikbaar op https://github.com/aniaggarwal/ecad.

English

Diffusion-based image generation models excel at producing high-quality synthetic content, but suffer from slow and computationally expensive inference. Prior work has attempted to mitigate this by caching and reusing features within diffusion transformers across inference steps. These methods, however, often rely on rigid heuristics that result in limited acceleration or poor generalization across architectures. We propose Evolutionary Caching to Accelerate Diffusion models (ECAD), a genetic algorithm that learns efficient, per-model, caching schedules forming a Pareto frontier, using only a small set of calibration prompts. ECAD requires no modifications to network parameters or reference images. It offers significant inference speedups, enables fine-grained control over the quality-latency trade-off, and adapts seamlessly to different diffusion models. Notably, ECAD's learned schedules can generalize effectively to resolutions and model variants not seen during calibration. We evaluate ECAD on PixArt-alpha, PixArt-Sigma, and FLUX-1.dev using multiple metrics (FID, CLIP, Image Reward) across diverse benchmarks (COCO, MJHQ-30k, PartiPrompts), demonstrating consistent improvements over previous approaches. On PixArt-alpha, ECAD identifies a schedule that outperforms the previous state-of-the-art method by 4.47 COCO FID while increasing inference speedup from 2.35x to 2.58x. Our results establish ECAD as a scalable and generalizable approach for accelerating diffusion inference. Our project website is available at https://aniaggarwal.github.io/ecad and our code is available at https://github.com/aniaggarwal/ecad.