SeaCache: Caché Consciente de la Evolución Espectral para Acelerar Modelos de Difusión
SeaCache: Spectral-Evolution-Aware Cache for Accelerating Diffusion Models
February 22, 2026
Autores: Jiwoo Chung, Sangeek Hyun, MinKyu Lee, Byeongju Han, Geonho Cha, Dongyoon Wee, Youngjun Hong, Jae-Pil Heo
cs.AI
Resumen
Los modelos de difusión son una base sólida para la generación visual, pero su proceso inherentemente secuencial de eliminación de ruido conduce a una inferencia lenta. Métodos anteriores aceleran el muestreo almacenando en caché y reutilizando salidas intermedias basadas en distancias de características entre intervalos de tiempo adyacentes. Sin embargo, las estrategias de caché existentes generalmente dependen de diferencias brutas de características que entrelazan contenido y ruido. Este diseño pasa por alto la evolución espectral, donde la estructura de baja frecuencia aparece temprano y el detalle de alta frecuencia se refina posteriormente. Introducimos Spectral-Evolution-Aware Cache (SeaCache), un programa de caché libre de entrenamiento que basa las decisiones de reutilización en una representación alineada espectralmente. Mediante análisis teórico y empírico, derivamos un filtro Consciente de la Evolución Espectral (SEA) que preserva los componentes relevantes para el contenido mientras suprime el ruido. Emplear características de entrada filtradas por SEA para estimar la redundancia conduce a programas dinámicos que se adaptan al contenido respetando los principios espectrales subyacentes al modelo de difusión. Experimentos exhaustivos en diversos modelos generativos visuales y líneas base demuestran que SeaCache logra compensaciones estado del arte entre latencia y calidad.
English
Diffusion models are a strong backbone for visual generation, but their inherently sequential denoising process leads to slow inference. Previous methods accelerate sampling by caching and reusing intermediate outputs based on feature distances between adjacent timesteps. However, existing caching strategies typically rely on raw feature differences that entangle content and noise. This design overlooks spectral evolution, where low-frequency structure appears early and high-frequency detail is refined later. We introduce Spectral-Evolution-Aware Cache (SeaCache), a training-free cache schedule that bases reuse decisions on a spectrally aligned representation. Through theoretical and empirical analysis, we derive a Spectral-Evolution-Aware (SEA) filter that preserves content-relevant components while suppressing noise. Employing SEA-filtered input features to estimate redundancy leads to dynamic schedules that adapt to content while respecting the spectral priors underlying the diffusion model. Extensive experiments on diverse visual generative models and the baselines show that SeaCache achieves state-of-the-art latency-quality trade-offs.