SeaCache: Spektral-Evolutions-bewusster Cache zur Beschleunigung von Diffusionsmodellen
SeaCache: Spectral-Evolution-Aware Cache for Accelerating Diffusion Models
February 22, 2026
papers.authors: Jiwoo Chung, Sangeek Hyun, MinKyu Lee, Byeongju Han, Geonho Cha, Dongyoon Wee, Youngjun Hong, Jae-Pil Heo
cs.AI
papers.abstract
Diffusionsmodelle sind eine leistungsstarke Grundlage für die visuelle Generierung, doch ihr inhärent sequenzieller Denoisisierungsprozess führt zu langsamer Inferenz. Bisherige Methoden beschleunigen das Sampling durch Zwischenspeicherung und Wiederverwendung von Zwischenergebnissen auf der Grundlage von Merkmalsdistanzen zwischen benachbarten Zeitschritten. Bestehende Caching-Strategien stützen sich jedoch typischerweise auf rohe Merkmalsunterschiede, die Inhalte und Rauschen vermengen. Dieser Ansatz übersieht die spektrale Evolution, bei der sich niederfrequente Strukturen früh zeigen und hochfrequente Details später verfeinert werden. Wir führen den Spectral-Evolution-Aware Cache (SeaCache) ein, einen trainingsfreien Cache-Zeitplan, der Wiederverwendungsentscheidungen auf einer spektral ausgerichteten Repräsentation basiert. Durch theoretische und empirische Analyse leiten wir einen Spectral-Evolution-Aware (SEA)-Filter ab, der inhaltsrelevante Komponenten bewahrt und gleichzeitig Rauschen unterdrückt. Die Verwendung von SEA-gefilterten Eingangsmerkmalen zur Redundanzschätzung führt zu dynamischen Zeitplänen, die sich an den Inhalt anpassen und gleichzeitig den dem Diffusionsmodell zugrundeliegenden spektralen Priors Rechnung tragen. Umfangreiche Experimente mit verschiedenen visuellen Generierungsmodellen und den Baselines zeigen, dass SeaCache state-of-the-art Kompromisse zwischen Latenz und Qualität erreicht.
English
Diffusion models are a strong backbone for visual generation, but their inherently sequential denoising process leads to slow inference. Previous methods accelerate sampling by caching and reusing intermediate outputs based on feature distances between adjacent timesteps. However, existing caching strategies typically rely on raw feature differences that entangle content and noise. This design overlooks spectral evolution, where low-frequency structure appears early and high-frequency detail is refined later. We introduce Spectral-Evolution-Aware Cache (SeaCache), a training-free cache schedule that bases reuse decisions on a spectrally aligned representation. Through theoretical and empirical analysis, we derive a Spectral-Evolution-Aware (SEA) filter that preserves content-relevant components while suppressing noise. Employing SEA-filtered input features to estimate redundancy leads to dynamic schedules that adapt to content while respecting the spectral priors underlying the diffusion model. Extensive experiments on diverse visual generative models and the baselines show that SeaCache achieves state-of-the-art latency-quality trade-offs.