Traumcache: Feinabstimmungsfreie, leichte personalisierte Bildgenerierung über Merkmalszwischenspeicherung

DreamCache: Finetuning-Free Lightweight Personalized Image Generation via Feature Caching

November 26, 2024

Autoren: Emanuele Aiello, Umberto Michieli, Diego Valsesia, Mete Ozay, Enrico Magli

cs.AI

Zusammenfassung

Die personalisierte Bildgenerierung erfordert textbasierte Bildgenerierungsmodelle, die die Kernmerkmale eines Referenzobjekts erfassen, um eine kontrollierte Generierung in verschiedenen Kontexten zu ermöglichen. Bestehende Methoden stehen vor Herausforderungen aufgrund komplexer Schulungsanforderungen, hoher Inferenzkosten, begrenzter Flexibilität oder einer Kombination dieser Probleme. In diesem Artikel stellen wir DreamCache vor, einen skalierbaren Ansatz für effiziente und hochwertige personalisierte Bildgenerierung. Durch Zwischenspeichern einer kleinen Anzahl von Referenzbildmerkmalen aus einem Teil der Schichten und einem einzelnen Zeitschritt des vortrainierten Diffusions-Denoisers ermöglicht DreamCache eine dynamische Modulation der generierten Bildmerkmale durch leichtgewichtige, trainierte Konditionierungsadapter. DreamCache erreicht eine Bild- und Textausrichtung auf dem neuesten Stand der Technik, nutzt eine Größenordnung weniger zusätzliche Parameter und ist sowohl rechnerisch effektiver als auch vielseitiger als bestehende Modelle.

English

Personalized image generation requires text-to-image generative models that capture the core features of a reference subject to allow for controlled generation across different contexts. Existing methods face challenges due to complex training requirements, high inference costs, limited flexibility, or a combination of these issues. In this paper, we introduce DreamCache, a scalable approach for efficient and high-quality personalized image generation. By caching a small number of reference image features from a subset of layers and a single timestep of the pretrained diffusion denoiser, DreamCache enables dynamic modulation of the generated image features through lightweight, trained conditioning adapters. DreamCache achieves state-of-the-art image and text alignment, utilizing an order of magnitude fewer extra parameters, and is both more computationally effective and versatile than existing models.