SeaCache: Cache Consciente da Evolução Espectral para Acelerar Modelos de Difusão
SeaCache: Spectral-Evolution-Aware Cache for Accelerating Diffusion Models
February 22, 2026
Autores: Jiwoo Chung, Sangeek Hyun, MinKyu Lee, Byeongju Han, Geonho Cha, Dongyoon Wee, Youngjun Hong, Jae-Pil Heo
cs.AI
Resumo
Os modelos de difusão são uma base robusta para geração visual, mas seu processo inerentemente sequencial de remoção de ruído resulta em inferência lenta. Métodos anteriores aceleram a amostragem armazenando em cache e reutilizando saídas intermediárias com base em distâncias de características entre intervalos de tempo adjacentes. No entanto, as estratégias de cache existentes geralmente dependem de diferenças brutas de características que entrelaçam conteúdo e ruído. Este projeto ignora a evolução espectral, onde a estrutura de baixa frequência aparece primeiro e o detalhe de alta frequência é refinado posteriormente. Introduzimos o Spectral-Evolution-Aware Cache (SeaCache), um agendamento de cache livre de treinamento que baseia decisões de reutilização em uma representação alinhada espectralmente. Através de análise teórica e empírica, derivamos um filtro Spectral-Evolution-Aware (SEA) que preserva componentes relevantes ao conteúdo enquanto suprime ruído. Empregar características de entrada filtradas por SEA para estimar redundância leva a agendamentos dinâmicos que se adaptam ao conteúdo enquanto respeitam os pré-requisitos espectrais subjacentes ao modelo de difusão. Experimentos extensos em diversos modelos de geração visual e nas linhas de base mostram que o SeaCache alcança compensações estado da arte entre latência e qualidade.
English
Diffusion models are a strong backbone for visual generation, but their inherently sequential denoising process leads to slow inference. Previous methods accelerate sampling by caching and reusing intermediate outputs based on feature distances between adjacent timesteps. However, existing caching strategies typically rely on raw feature differences that entangle content and noise. This design overlooks spectral evolution, where low-frequency structure appears early and high-frequency detail is refined later. We introduce Spectral-Evolution-Aware Cache (SeaCache), a training-free cache schedule that bases reuse decisions on a spectrally aligned representation. Through theoretical and empirical analysis, we derive a Spectral-Evolution-Aware (SEA) filter that preserves content-relevant components while suppressing noise. Employing SEA-filtered input features to estimate redundancy leads to dynamic schedules that adapt to content while respecting the spectral priors underlying the diffusion model. Extensive experiments on diverse visual generative models and the baselines show that SeaCache achieves state-of-the-art latency-quality trade-offs.