SeaCache: Spectraal-Evolutie-Bewuste Cache voor het Versnellen van Diffusiemodellen

SeaCache: Spectral-Evolution-Aware Cache for Accelerating Diffusion Models

February 22, 2026

Auteurs: Jiwoo Chung, Sangeek Hyun, MinKyu Lee, Byeongju Han, Geonho Cha, Dongyoon Wee, Youngjun Hong, Jae-Pil Heo

cs.AI

Samenvatting

Diffusiemodellen vormen een robuuste ruggengraat voor visuele generatie, maar hun inherent sequentieel denoisingsproces resulteert in trage inferentie. Eerdere methoden versnellen de sampling door tussenliggende outputs te cachen en te hergebruiken op basis van featureafstanden tussen opeenvolgende tijdstappen. Bestaande cachingstrategieën vertrouwen echter doorgaans op ruwe featureverschillen die inhoud en ruis verstrengelen. Dit ontwerp negeert spectrale evolutie, waarbij laagfrequente structuur vroeg verschijnt en hoogfrequente details later worden verfijnd. Wij introduceren Spectral-Evolution-Aware Cache (SeaCache), een trainingsvrij cacheschema dat hergebruiksbeslissingen baseert op een spectraal uitgelijnde representatie. Via theoretische en empirische analyse leiden we een Spectral-Evolution-Aware (SEA)-filter af dat inhoudsrelevante componenten behoudt terwijl het ruis onderdrukt. Het gebruik van SEA-gefilterde invoerfeatures om redundantie in te schatten, leidt tot dynamische schema's die zich aanpassen aan de inhoud en tegelijkertijd de onderliggende spectrale prioren van het diffusiemodel respecteren. Uitgebreide experimenten met diverse visuele generatieve modellen en de basislijnen tonen aan dat SeaCache state-of-the-art latentie-kwaliteit-compromissen bereikt.

English

Diffusion models are a strong backbone for visual generation, but their inherently sequential denoising process leads to slow inference. Previous methods accelerate sampling by caching and reusing intermediate outputs based on feature distances between adjacent timesteps. However, existing caching strategies typically rely on raw feature differences that entangle content and noise. This design overlooks spectral evolution, where low-frequency structure appears early and high-frequency detail is refined later. We introduce Spectral-Evolution-Aware Cache (SeaCache), a training-free cache schedule that bases reuse decisions on a spectrally aligned representation. Through theoretical and empirical analysis, we derive a Spectral-Evolution-Aware (SEA) filter that preserves content-relevant components while suppressing noise. Employing SEA-filtered input features to estimate redundancy leads to dynamic schedules that adapt to content while respecting the spectral priors underlying the diffusion model. Extensive experiments on diverse visual generative models and the baselines show that SeaCache achieves state-of-the-art latency-quality trade-offs.