SeaCache: 확산 모델 가속화를 위한 스펙트럼 진화 인식 캐시

초록

확산 모델은 시각적 생성에 있어 강력한 기반 기술이지만, 본질적으로 순차적인 노이즈 제거 과정으로 인해 추론 속도가 느립니다. 기존 방법들은 인접 타임스텝 간의 특징 거리를 기반으로 중간 출력을 캐싱 및 재사용하여 샘플링을 가속화해왔습니다. 그러나 기존 캐싱 전략은 일반적으로 콘텐츠와 노이즈가 뒤섞인 원시 특징 차이에 의존합니다. 이러한 설계는 저주파 구조가 먼저 나타나고 고주파 디테일이 후반에 정교해지는 스펙트럼 진화 과정을 간과합니다. 본 논문에서는 재사용 결정을 스펙트럼 정렬 표현에 기반하여 내리는 학습이 필요 없는 캐싱 스케줄인 Spectral-Evolution-Aware Cache(SeaCache)를 제안합니다. 이론적 및 실증적 분석을 통해 콘텐츠 관련 구성 요소는 보존하면서 노이즈는 억제하는 Spectral-Evolution-Aware(SEA) 필터를 도출합니다. SEA 필터링된 입력 특징을 사용하여 중복성을 추정하면, 확산 모델의 기본 스펙트럼 사전 지식을 존중하면서 콘텐츠에 적응하는 동적 스케줄을 생성할 수 있습니다. 다양한 시각 생성 모델과 베이스라인에 대한 폭넓은 실험을 통해 SeaCache가 최첨단 지연 시간-품질 트레이드오프를 달성함을 입증합니다.

English

Diffusion models are a strong backbone for visual generation, but their inherently sequential denoising process leads to slow inference. Previous methods accelerate sampling by caching and reusing intermediate outputs based on feature distances between adjacent timesteps. However, existing caching strategies typically rely on raw feature differences that entangle content and noise. This design overlooks spectral evolution, where low-frequency structure appears early and high-frequency detail is refined later. We introduce Spectral-Evolution-Aware Cache (SeaCache), a training-free cache schedule that bases reuse decisions on a spectrally aligned representation. Through theoretical and empirical analysis, we derive a Spectral-Evolution-Aware (SEA) filter that preserves content-relevant components while suppressing noise. Employing SEA-filtered input features to estimate redundancy leads to dynamic schedules that adapt to content while respecting the spectral priors underlying the diffusion model. Extensive experiments on diverse visual generative models and the baselines show that SeaCache achieves state-of-the-art latency-quality trade-offs.

SeaCache: 확산 모델 가속화를 위한 스펙트럼 진화 인식 캐시

SeaCache: Spectral-Evolution-Aware Cache for Accelerating Diffusion Models

초록

Support