DreamCache: Generación de Imágenes Personalizadas Ligera sin Ajuste Fino a través de Caché de Características

DreamCache: Finetuning-Free Lightweight Personalized Image Generation via Feature Caching

November 26, 2024

Autores: Emanuele Aiello, Umberto Michieli, Diego Valsesia, Mete Ozay, Enrico Magli

cs.AI

Resumen

La generación de imágenes personalizadas requiere modelos generativos de texto a imagen que capturen las características principales de un sujeto de referencia para permitir una generación controlada en diferentes contextos. Los métodos existentes enfrentan desafíos debido a requisitos de entrenamiento complejos, altos costos de inferencia, flexibilidad limitada o una combinación de estos problemas. En este documento, presentamos DreamCache, un enfoque escalable para una generación eficiente y de alta calidad de imágenes personalizadas. Al almacenar en caché un pequeño número de características de imagen de referencia de un subconjunto de capas y un solo paso de tiempo del desenfocador de difusión preentrenado, DreamCache permite la modulación dinámica de las características de imagen generadas a través de adaptadores de condicionamiento ligeros y entrenados. DreamCache logra un alineamiento de imagen y texto de vanguardia, utilizando un orden de magnitud menos parámetros adicionales, y es tanto más efectivo computacionalmente como más versátil que los modelos existentes.

English

Personalized image generation requires text-to-image generative models that capture the core features of a reference subject to allow for controlled generation across different contexts. Existing methods face challenges due to complex training requirements, high inference costs, limited flexibility, or a combination of these issues. In this paper, we introduce DreamCache, a scalable approach for efficient and high-quality personalized image generation. By caching a small number of reference image features from a subset of layers and a single timestep of the pretrained diffusion denoiser, DreamCache enables dynamic modulation of the generated image features through lightweight, trained conditioning adapters. DreamCache achieves state-of-the-art image and text alignment, utilizing an order of magnitude fewer extra parameters, and is both more computationally effective and versatile than existing models.