SeaCache : Cache évolutif spectral pour l'accélération des modèles de diffusion

SeaCache: Spectral-Evolution-Aware Cache for Accelerating Diffusion Models

February 22, 2026

papers.authors: Jiwoo Chung, Sangeek Hyun, MinKyu Lee, Byeongju Han, Geonho Cha, Dongyoon Wee, Youngjun Hong, Jae-Pil Heo

cs.AI

papers.abstract

Les modèles de diffusion constituent une architecture robuste pour la génération visuelle, mais leur processus de débruîtage séquentiel inhérent entraîne une inférence lente. Les méthodes antérieures accélèrent l'échantillonnage en mettant en cache et en réutilisant les résultats intermédiaires basés sur les distances caractéristiques entre les pas de temps adjacents. Cependant, les stratégies de mise en cache existantes reposent généralement sur des différences brutes de caractéristiques qui entremêlent le contenu et le bruit. Cette conception néglige l'évolution spectrale, où la structure basse fréquence apparaît précocement et les détails haute fréquence sont affinés ultérieurement. Nous présentons Spectral-Evolution-Aware Cache (SeaCache), un plan de cache sans apprentissage qui fonde les décisions de réutilisation sur une représentation alignée spectralement. Par une analyse théorique et empirique, nous dérivons un filtre Spectral-Evolution-Aware (SEA) qui préserve les composantes pertinentes au contenu tout en supprimant le bruit. L'utilisation des caractéristiques d'entrée filtrées par SEA pour estimer la redondance conduit à des plans dynamiques qui s'adaptent au contenu tout en respectant les prérequis spectraux sous-jacents au modèle de diffusion. Des expériences approfondies sur divers modèles génératifs visuels et les lignes de base montrent que SeaCache atteint des compromis latence-qualité à la pointe de l'état de l'art.

English

Diffusion models are a strong backbone for visual generation, but their inherently sequential denoising process leads to slow inference. Previous methods accelerate sampling by caching and reusing intermediate outputs based on feature distances between adjacent timesteps. However, existing caching strategies typically rely on raw feature differences that entangle content and noise. This design overlooks spectral evolution, where low-frequency structure appears early and high-frequency detail is refined later. We introduce Spectral-Evolution-Aware Cache (SeaCache), a training-free cache schedule that bases reuse decisions on a spectrally aligned representation. Through theoretical and empirical analysis, we derive a Spectral-Evolution-Aware (SEA) filter that preserves content-relevant components while suppressing noise. Employing SEA-filtered input features to estimate redundancy leads to dynamic schedules that adapt to content while respecting the spectral priors underlying the diffusion model. Extensive experiments on diverse visual generative models and the baselines show that SeaCache achieves state-of-the-art latency-quality trade-offs.