FastComposer: Geração de Imagens com Múltiplos Sujeitos sem Ajuste Fino com Atenção Localizada

FastComposer: Tuning-Free Multi-Subject Image Generation with Localized Attention

May 17, 2023

Autores: Guangxuan Xiao, Tianwei Yin, William T. Freeman, Frédo Durand, Song Han

cs.AI

Resumo

Os modelos de difusão se destacam na geração de imagens a partir de texto, especialmente na geração orientada por sujeitos para imagens personalizadas. No entanto, os métodos existentes são ineficientes devido ao ajuste fino específico para cada sujeito, que é computacionalmente intensivo e dificulta a implantação eficiente. Além disso, os métodos atuais enfrentam dificuldades na geração de múltiplos sujeitos, pois frequentemente misturam características entre eles. Apresentamos o FastComposer, que permite a geração eficiente, personalizada e de múltiplos sujeitos de imagens a partir de texto sem a necessidade de ajuste fino. O FastComposer utiliza embeddings de sujeitos extraídos por um codificador de imagem para aumentar o condicionamento textual genérico em modelos de difusão, permitindo a geração de imagens personalizadas com base em imagens de sujeitos e instruções textuais apenas com passagens diretas. Para resolver o problema de mistura de identidades na geração de múltiplos sujeitos, o FastComposer propõe a supervisão de localização de atenção cruzada durante o treinamento, forçando a atenção dos sujeitos de referência a se localizar nas regiões corretas das imagens alvo. O condicionamento direto em embeddings de sujeitos resulta em sobreajuste. O FastComposer propõe o condicionamento atrasado de sujeitos na etapa de remoção de ruído para manter tanto a identidade quanto a editabilidade na geração de imagens orientada por sujeitos. O FastComposer gera imagens de múltiplos indivíduos não vistos anteriormente com diferentes estilos, ações e contextos. Ele alcança uma aceleração de 300 a 2500 vezes em comparação com métodos baseados em ajuste fino e não requer armazenamento extra para novos sujeitos. O FastComposer abre caminho para a criação eficiente, personalizada e de alta qualidade de imagens com múltiplos sujeitos. Código, modelo e conjunto de dados estão disponíveis em https://github.com/mit-han-lab/fastcomposer.

English

Diffusion models excel at text-to-image generation, especially in subject-driven generation for personalized images. However, existing methods are inefficient due to the subject-specific fine-tuning, which is computationally intensive and hampers efficient deployment. Moreover, existing methods struggle with multi-subject generation as they often blend features among subjects. We present FastComposer which enables efficient, personalized, multi-subject text-to-image generation without fine-tuning. FastComposer uses subject embeddings extracted by an image encoder to augment the generic text conditioning in diffusion models, enabling personalized image generation based on subject images and textual instructions with only forward passes. To address the identity blending problem in the multi-subject generation, FastComposer proposes cross-attention localization supervision during training, enforcing the attention of reference subjects localized to the correct regions in the target images. Naively conditioning on subject embeddings results in subject overfitting. FastComposer proposes delayed subject conditioning in the denoising step to maintain both identity and editability in subject-driven image generation. FastComposer generates images of multiple unseen individuals with different styles, actions, and contexts. It achieves 300times-2500times speedup compared to fine-tuning-based methods and requires zero extra storage for new subjects. FastComposer paves the way for efficient, personalized, and high-quality multi-subject image creation. Code, model, and dataset are available at https://github.com/mit-han-lab/fastcomposer.