DeepCache: Ускорение диффузионных моделей без затрат

DeepCache: Accelerating Diffusion Models for Free

December 1, 2023

Авторы: Xinyin Ma, Gongfan Fang, Xinchao Wang

cs.AI

Аннотация

Диффузионные модели недавно получили беспрецедентное внимание в области синтеза изображений благодаря своим выдающимся генеративным возможностям. Однако, несмотря на их мощь, эти модели часто требуют значительных вычислительных ресурсов, что в основном связано с последовательным процессом удаления шума и большим размером модели. Традиционные методы сжатия диффузионных моделей обычно предполагают длительное переобучение, что создает проблемы с затратами и реализуемостью. В данной статье мы представляем DeepCache, новую парадигму, не требующую обучения, которая ускоряет диффузионные модели с точки зрения архитектуры модели. DeepCache использует присущую временную избыточность, наблюдаемую в последовательных шагах удаления шума в диффузионных моделях, кэшируя и извлекая признаки на соседних этапах удаления шума, тем самым сокращая избыточные вычисления. Используя свойства U-Net, мы повторно используем высокоуровневые признаки, обновляя низкоуровневые признаки с минимальными затратами. Эта инновационная стратегия позволяет ускорить Stable Diffusion v1.5 в 2.3 раза при снижении CLIP Score всего на 0.05 и LDM-4-G в 4.1 раза с небольшим ухудшением FID на ImageNet на 0.22. Наши эксперименты также демонстрируют превосходство DeepCache над существующими методами обрезки и дистилляции, которые требуют переобучения, и его совместимость с текущими методами сэмплирования. Более того, мы обнаружили, что при одинаковой пропускной способности DeepCache эффективно достигает сопоставимых или даже немного улучшенных результатов с DDIM или PLMS. Код доступен по адресу https://github.com/horseee/DeepCache.

English

Diffusion models have recently gained unprecedented attention in the field of image synthesis due to their remarkable generative capabilities. Notwithstanding their prowess, these models often incur substantial computational costs, primarily attributed to the sequential denoising process and cumbersome model size. Traditional methods for compressing diffusion models typically involve extensive retraining, presenting cost and feasibility challenges. In this paper, we introduce DeepCache, a novel training-free paradigm that accelerates diffusion models from the perspective of model architecture. DeepCache capitalizes on the inherent temporal redundancy observed in the sequential denoising steps of diffusion models, which caches and retrieves features across adjacent denoising stages, thereby curtailing redundant computations. Utilizing the property of the U-Net, we reuse the high-level features while updating the low-level features in a very cheap way. This innovative strategy, in turn, enables a speedup factor of 2.3times for Stable Diffusion v1.5 with only a 0.05 decline in CLIP Score, and 4.1times for LDM-4-G with a slight decrease of 0.22 in FID on ImageNet. Our experiments also demonstrate DeepCache's superiority over existing pruning and distillation methods that necessitate retraining and its compatibility with current sampling techniques. Furthermore, we find that under the same throughput, DeepCache effectively achieves comparable or even marginally improved results with DDIM or PLMS. The code is available at https://github.com/horseee/DeepCache