DreamCache: Geração de Imagens Personalizadas Leves sem Ajuste Fino através de Armazenamento de Características

DreamCache: Finetuning-Free Lightweight Personalized Image Generation via Feature Caching

November 26, 2024

Autores: Emanuele Aiello, Umberto Michieli, Diego Valsesia, Mete Ozay, Enrico Magli

cs.AI

Resumo

A geração de imagens personalizadas requer modelos generativos de texto para imagem que capturem os principais recursos de um sujeito de referência para permitir a geração controlada em diferentes contextos. Os métodos existentes enfrentam desafios devido a requisitos de treinamento complexos, altos custos de inferência, flexibilidade limitada, ou uma combinação desses problemas. Neste artigo, apresentamos o DreamCache, uma abordagem escalável para geração eficiente e de alta qualidade de imagens personalizadas. Ao armazenar um pequeno número de recursos de imagem de referência de um subconjunto de camadas e um único passo de tempo do denoiser de difusão pré-treinado, o DreamCache permite a modulação dinâmica dos recursos de imagem gerados por meio de adaptadores de condicionamento leves e treinados. O DreamCache alcança alinhamento de imagem e texto de ponta, utilizando uma ordem de grandeza menor de parâmetros extras, e é tanto mais eficaz computacionalmente quanto mais versátil do que os modelos existentes.

English

Personalized image generation requires text-to-image generative models that capture the core features of a reference subject to allow for controlled generation across different contexts. Existing methods face challenges due to complex training requirements, high inference costs, limited flexibility, or a combination of these issues. In this paper, we introduce DreamCache, a scalable approach for efficient and high-quality personalized image generation. By caching a small number of reference image features from a subset of layers and a single timestep of the pretrained diffusion denoiser, DreamCache enables dynamic modulation of the generated image features through lightweight, trained conditioning adapters. DreamCache achieves state-of-the-art image and text alignment, utilizing an order of magnitude fewer extra parameters, and is both more computationally effective and versatile than existing models.