SeaCache: Cache Consapevole dell'Evoluzione Spettrale per Accelerare i Modelli di Diffusione

SeaCache: Spectral-Evolution-Aware Cache for Accelerating Diffusion Models

February 22, 2026

Autori: Jiwoo Chung, Sangeek Hyun, MinKyu Lee, Byeongju Han, Geonho Cha, Dongyoon Wee, Youngjun Hong, Jae-Pil Heo

cs.AI

Abstract

I modelli di diffusione rappresentano un'architettura solida per la generazione visiva, ma il loro processo intrinsecamente sequenziale di rimozione del rumore comporta un'inferenza lenta. I metodi precedenti accelerano il campionamento memorizzando nella cache e riutilizzando output intermedi basandosi sulle distanze delle feature tra step temporali adiacenti. Tuttavia, le strategie di caching esistenti tipicamente si affidano a differenze grezze delle feature che mescolano contenuto e rumore. Questo approccio trascura l'evoluzione spettrale, in cui la struttura a bassa frequenza emerge precocemente mentre il dettaglio ad alta frequenza viene raffinato successivamente. Introduciamo lo Spectral-Evolution-Aware Cache (SeaCache), una schedulazione della cache senza addestramento che basa le decisioni di riutilizzo su una rappresentazione allineata spettralmente. Attraverso un'analisi teorica ed empirica, deriviamo un filtro Spectral-Evolution-Aware (SEA) che preserva le componenti rilevanti per il contenuto sopprimendo al contempo il rumore. Utilizzare feature di input filtrate SEA per stimare la ridondanza porta a schedule dinamiche che si adattano al contenuto rispettando i priori spettrali alla base del modello di diffusione. Esperimenti estesi su vari modelli generativi visivi e sui baseline mostrano che SeaCache raggiunge un compromesso latenza-qualità allo stato dell'arte.

English

Diffusion models are a strong backbone for visual generation, but their inherently sequential denoising process leads to slow inference. Previous methods accelerate sampling by caching and reusing intermediate outputs based on feature distances between adjacent timesteps. However, existing caching strategies typically rely on raw feature differences that entangle content and noise. This design overlooks spectral evolution, where low-frequency structure appears early and high-frequency detail is refined later. We introduce Spectral-Evolution-Aware Cache (SeaCache), a training-free cache schedule that bases reuse decisions on a spectrally aligned representation. Through theoretical and empirical analysis, we derive a Spectral-Evolution-Aware (SEA) filter that preserves content-relevant components while suppressing noise. Employing SEA-filtered input features to estimate redundancy leads to dynamic schedules that adapt to content while respecting the spectral priors underlying the diffusion model. Extensive experiments on diverse visual generative models and the baselines show that SeaCache achieves state-of-the-art latency-quality trade-offs.