FastComposer: Generazione di Immagini Multi-Soggetto senza Ottimizzazione con Attenzione Localizzata

FastComposer: Tuning-Free Multi-Subject Image Generation with Localized Attention

May 17, 2023

Autori: Guangxuan Xiao, Tianwei Yin, William T. Freeman, Frédo Durand, Song Han

cs.AI

Abstract

I modelli di diffusione eccellono nella generazione di immagini da testo, in particolare nella generazione guidata dal soggetto per immagini personalizzate. Tuttavia, i metodi esistenti sono inefficienti a causa del fine-tuning specifico per il soggetto, che è computazionalmente intensivo e ostacola una distribuzione efficiente. Inoltre, i metodi esistenti hanno difficoltà con la generazione multi-soggetto, poiché spesso mescolano le caratteristiche tra i soggetti. Presentiamo FastComposer, che consente una generazione efficiente, personalizzata e multi-soggetto di immagini da testo senza fine-tuning. FastComposer utilizza embedding di soggetto estratti da un codificatore di immagini per arricchire il condizionamento testuale generico nei modelli di diffusione, consentendo la generazione di immagini personalizzate basate su immagini di soggetto e istruzioni testuali con solo passaggi in avanti. Per affrontare il problema della fusione delle identità nella generazione multi-soggetto, FastComposer propone una supervisione di localizzazione cross-attention durante l'addestramento, imponendo che l'attenzione dei soggetti di riferimento sia localizzata nelle regioni corrette delle immagini target. Il condizionamento ingenuo sugli embedding di soggetto porta a un overfitting del soggetto. FastComposer propone un condizionamento ritardato del soggetto nel passaggio di denoising per mantenere sia l'identità che l'editabilità nella generazione di immagini guidata dal soggetto. FastComposer genera immagini di più individui non visti con stili, azioni e contesti diversi. Raggiunge un'accelerazione di 300-2500 volte rispetto ai metodi basati su fine-tuning e richiede zero spazio di archiviazione aggiuntivo per nuovi soggetti. FastComposer apre la strada a una creazione efficiente, personalizzata e di alta qualità di immagini multi-soggetto. Codice, modello e dataset sono disponibili su https://github.com/mit-han-lab/fastcomposer.

English

Diffusion models excel at text-to-image generation, especially in subject-driven generation for personalized images. However, existing methods are inefficient due to the subject-specific fine-tuning, which is computationally intensive and hampers efficient deployment. Moreover, existing methods struggle with multi-subject generation as they often blend features among subjects. We present FastComposer which enables efficient, personalized, multi-subject text-to-image generation without fine-tuning. FastComposer uses subject embeddings extracted by an image encoder to augment the generic text conditioning in diffusion models, enabling personalized image generation based on subject images and textual instructions with only forward passes. To address the identity blending problem in the multi-subject generation, FastComposer proposes cross-attention localization supervision during training, enforcing the attention of reference subjects localized to the correct regions in the target images. Naively conditioning on subject embeddings results in subject overfitting. FastComposer proposes delayed subject conditioning in the denoising step to maintain both identity and editability in subject-driven image generation. FastComposer generates images of multiple unseen individuals with different styles, actions, and contexts. It achieves 300times-2500times speedup compared to fine-tuning-based methods and requires zero extra storage for new subjects. FastComposer paves the way for efficient, personalized, and high-quality multi-subject image creation. Code, model, and dataset are available at https://github.com/mit-han-lab/fastcomposer.