DreamCache: Легковесная персонализированная генерация изображений без настройки через кэширование признаков

DreamCache: Finetuning-Free Lightweight Personalized Image Generation via Feature Caching

November 26, 2024

Авторы: Emanuele Aiello, Umberto Michieli, Diego Valsesia, Mete Ozay, Enrico Magli

cs.AI

Аннотация

Генерация персонализированных изображений требует моделей, преобразующих текст в изображения, которые захватывают основные характеристики исходной темы для контролируемой генерации в различных контекстах. Существующие методы сталкиваются с проблемами из-за сложных требований к обучению, высоких затрат на вывод, ограниченной гибкости или их комбинации. В данной статье мы представляем DreamCache, масштабируемый подход для эффективной и качественной генерации персонализированных изображений. Путем кэширования небольшого количества характеристик исходного изображения из подмножества слоев и одного временного шага предварительно обученного диффузионного денойзера, DreamCache позволяет динамически модулировать характеристики сгенерированного изображения с помощью легких, обученных адаптеров условий. DreamCache достигает передового согласования изображений и текста, используя порядок меньше дополнительных параметров, и является как более вычислительно эффективным, так и универсальным по сравнению с существующими моделями.

English

Personalized image generation requires text-to-image generative models that capture the core features of a reference subject to allow for controlled generation across different contexts. Existing methods face challenges due to complex training requirements, high inference costs, limited flexibility, or a combination of these issues. In this paper, we introduce DreamCache, a scalable approach for efficient and high-quality personalized image generation. By caching a small number of reference image features from a subset of layers and a single timestep of the pretrained diffusion denoiser, DreamCache enables dynamic modulation of the generated image features through lightweight, trained conditioning adapters. DreamCache achieves state-of-the-art image and text alignment, utilizing an order of magnitude fewer extra parameters, and is both more computationally effective and versatile than existing models.