SeaCache: Кэш, учитывающий спектральную эволюцию, для ускорения диффузионных моделей

SeaCache: Spectral-Evolution-Aware Cache for Accelerating Diffusion Models

February 22, 2026

Авторы: Jiwoo Chung, Sangeek Hyun, MinKyu Lee, Byeongju Han, Geonho Cha, Dongyoon Wee, Youngjun Hong, Jae-Pil Heo

cs.AI

Аннотация

Диффузионные модели являются мощной основой для визуальной генерации, однако их изначально последовательный процесс шумоподавления приводит к медленному выводу. Существующие методы ускоряют семплирование за счет кэширования и повторного использования промежуточных результатов на основе расстояний между признаками соседних временных шагов. Однако современные стратегии кэширования обычно опираются на сырые разности признаков, в которых переплетены содержание и шум. Такой подход игнорирует спектральную эволюцию, при которой низкочастотная структура появляется раньше, а высокочастотные детали уточняются позднее. Мы представляем Spectral-Evolution-Aware Cache (SeaCache) — свободный от обучения график кэширования, который основывает решения о повторном использовании на спектрально выровненном представлении. Благодаря теоретическому и эмпирическому анализу мы выводим Spectral-Evolution-Aware (SEA) фильтр, который сохраняет содержательно релевантные компоненты, подавляя шум. Использование SEA-фильтрованных входных признаков для оценки избыточности приводит к динамическим графикам, которые адаптируются к содержанию, учитывая спектральные априорные знания, лежащие в основе диффузионной модели. Многочисленные эксперименты на разнообразных моделях визуальной генерации и базовых методах показывают, что SeaCache достигает наилучшего баланса между задержкой и качеством.

English

Diffusion models are a strong backbone for visual generation, but their inherently sequential denoising process leads to slow inference. Previous methods accelerate sampling by caching and reusing intermediate outputs based on feature distances between adjacent timesteps. However, existing caching strategies typically rely on raw feature differences that entangle content and noise. This design overlooks spectral evolution, where low-frequency structure appears early and high-frequency detail is refined later. We introduce Spectral-Evolution-Aware Cache (SeaCache), a training-free cache schedule that bases reuse decisions on a spectrally aligned representation. Through theoretical and empirical analysis, we derive a Spectral-Evolution-Aware (SEA) filter that preserves content-relevant components while suppressing noise. Employing SEA-filtered input features to estimate redundancy leads to dynamic schedules that adapt to content while respecting the spectral priors underlying the diffusion model. Extensive experiments on diverse visual generative models and the baselines show that SeaCache achieves state-of-the-art latency-quality trade-offs.