DreamCache: Finetuning-vrije Lichtgewicht Gepersonaliseerde Afbeeldingsgeneratie via Functie Caching

DreamCache: Finetuning-Free Lightweight Personalized Image Generation via Feature Caching

November 26, 2024

Auteurs: Emanuele Aiello, Umberto Michieli, Diego Valsesia, Mete Ozay, Enrico Magli

cs.AI

Samenvatting

Het genereren van gepersonaliseerde afbeeldingen vereist tekst-naar-afbeelding generatieve modellen die de kernkenmerken van een referentieonderwerp vastleggen om gecontroleerde generatie over verschillende contexten mogelijk te maken. Bestaande methoden worden geconfronteerd met uitdagingen door complexe trainingsvereisten, hoge inferentiekosten, beperkte flexibiliteit, of een combinatie van deze problemen. In dit artikel introduceren we DreamCache, een schaalbare aanpak voor efficiënte en hoogwaardige gepersonaliseerde afbeeldingsgeneratie. Door een klein aantal referentieafbeeldingskenmerken uit een subset van lagen en een enkele tijdstap van de voorgeleerde diffusie-denoiser te cachen, maakt DreamCache dynamische modulatie van de gegenereerde afbeeldingskenmerken mogelijk via lichtgewicht, getrainde conditionering-adapters. DreamCache bereikt state-of-the-art afbeeldings- en tekstuitlijning, met gebruik van een orde van grootte minder extra parameters, en is zowel rekenkundig effectiever als veelzijdiger dan bestaande modellen.

English

Personalized image generation requires text-to-image generative models that capture the core features of a reference subject to allow for controlled generation across different contexts. Existing methods face challenges due to complex training requirements, high inference costs, limited flexibility, or a combination of these issues. In this paper, we introduce DreamCache, a scalable approach for efficient and high-quality personalized image generation. By caching a small number of reference image features from a subset of layers and a single timestep of the pretrained diffusion denoiser, DreamCache enables dynamic modulation of the generated image features through lightweight, trained conditioning adapters. DreamCache achieves state-of-the-art image and text alignment, utilizing an order of magnitude fewer extra parameters, and is both more computationally effective and versatile than existing models.