Evolutionäres Caching zur Beschleunigung Ihres Standard-Diffusionsmodells

Evolutionary Caching to Accelerate Your Off-the-Shelf Diffusion Model

June 18, 2025

Autoren: Anirud Aggarwal, Abhinav Shrivastava, Matthew Gwilliam

cs.AI

Zusammenfassung

Diffusionsbasierte Bildgenerierungsmodelle zeichnen sich durch die Erzeugung hochwertiger synthetischer Inhalte aus, leiden jedoch unter langsamer und rechenintensiver Inferenz. Frühere Arbeiten haben versucht, dies durch das Zwischenspeichern und Wiederverwenden von Merkmalen innerhalb von Diffusionstransformatoren über verschiedene Inferenzschritte hinweg zu mildern. Diese Methoden stützen sich jedoch oft auf starre Heuristiken, die zu begrenzter Beschleunigung oder schlechter Generalisierung über verschiedene Architekturen hinweg führen. Wir schlagen Evolutionary Caching to Accelerate Diffusion models (ECAD) vor, einen genetischen Algorithmus, der effiziente, modellspezifische Caching-Pläne lernt, die eine Pareto-Front bilden, und dies unter Verwendung nur einer kleinen Menge von Kalibrierungsaufforderungen. ECAD erfordert keine Änderungen an Netzwerkparametern oder Referenzbildern. Es bietet signifikante Beschleunigungen der Inferenz, ermöglicht eine fein abgestimmte Kontrolle über den Kompromiss zwischen Qualität und Latenz und passt sich nahtlos verschiedenen Diffusionsmodellen an. Bemerkenswerterweise können die von ECAD erlernten Pläne effektiv auf Auflösungen und Modellvarianten generalisieren, die während der Kalibrierung nicht gesehen wurden. Wir evaluieren ECAD anhand von PixArt-alpha, PixArt-Sigma und FLUX-1.dev unter Verwendung mehrerer Metriken (FID, CLIP, Image Reward) über diverse Benchmarks hinweg (COCO, MJHQ-30k, PartiPrompts) und zeigen konsistente Verbesserungen gegenüber früheren Ansätzen. Bei PixArt-alpha identifiziert ECAD einen Plan, der die bisherige state-of-the-art Methode um 4,47 COCO FID übertrifft, während die Inferenzbeschleunigung von 2,35x auf 2,58x erhöht wird. Unsere Ergebnisse etablieren ECAD als einen skalierbaren und generalisierbaren Ansatz zur Beschleunigung der Diffusionsinferenz. Unsere Projektwebsite ist unter https://aniaggarwal.github.io/ecad verfügbar und unser Code unter https://github.com/aniaggarwal/ecad.

English

Diffusion-based image generation models excel at producing high-quality synthetic content, but suffer from slow and computationally expensive inference. Prior work has attempted to mitigate this by caching and reusing features within diffusion transformers across inference steps. These methods, however, often rely on rigid heuristics that result in limited acceleration or poor generalization across architectures. We propose Evolutionary Caching to Accelerate Diffusion models (ECAD), a genetic algorithm that learns efficient, per-model, caching schedules forming a Pareto frontier, using only a small set of calibration prompts. ECAD requires no modifications to network parameters or reference images. It offers significant inference speedups, enables fine-grained control over the quality-latency trade-off, and adapts seamlessly to different diffusion models. Notably, ECAD's learned schedules can generalize effectively to resolutions and model variants not seen during calibration. We evaluate ECAD on PixArt-alpha, PixArt-Sigma, and FLUX-1.dev using multiple metrics (FID, CLIP, Image Reward) across diverse benchmarks (COCO, MJHQ-30k, PartiPrompts), demonstrating consistent improvements over previous approaches. On PixArt-alpha, ECAD identifies a schedule that outperforms the previous state-of-the-art method by 4.47 COCO FID while increasing inference speedup from 2.35x to 2.58x. Our results establish ECAD as a scalable and generalizable approach for accelerating diffusion inference. Our project website is available at https://aniaggarwal.github.io/ecad and our code is available at https://github.com/aniaggarwal/ecad.