Gerar Qualquer Coisa em Qualquer Lugar em Qualquer Cena

Generate Anything Anywhere in Any Scene

June 29, 2023

Autores: Yuheng Li, Haotian Liu, Yangming Wen, Yong Jae Lee

cs.AI

Resumo

Modelos de difusão texto-imagem têm atraído considerável interesse devido à sua ampla aplicabilidade em diversos campos. No entanto, desafios persistem na criação de modelos controláveis para geração de objetos personalizados. Neste artigo, primeiro identificamos os problemas de entrelaçamento nos modelos generativos personalizados existentes e, em seguida, propomos uma estratégia de treinamento de aumento de dados simples e eficiente que orienta o modelo de difusão a focar exclusivamente na identidade do objeto. Ao inserir as camadas adaptadoras plug-and-play de um modelo de difusão controlável pré-treinado, nosso modelo obtém a capacidade de controlar a localização e o tamanho de cada objeto personalizado gerado. Durante a inferência, propomos uma técnica de amostragem guiada regionalmente para manter a qualidade e a fidelidade das imagens geradas. Nosso método alcança fidelidade comparável ou superior para objetos personalizados, resultando em um modelo de difusão texto-imagem robusto, versátil e controlável, capaz de gerar imagens realistas e personalizadas. Nossa abordagem demonstra um potencial significativo para várias aplicações, como as de arte, entretenimento e design publicitário.

English

Text-to-image diffusion models have attracted considerable interest due to their wide applicability across diverse fields. However, challenges persist in creating controllable models for personalized object generation. In this paper, we first identify the entanglement issues in existing personalized generative models, and then propose a straightforward and efficient data augmentation training strategy that guides the diffusion model to focus solely on object identity. By inserting the plug-and-play adapter layers from a pre-trained controllable diffusion model, our model obtains the ability to control the location and size of each generated personalized object. During inference, we propose a regionally-guided sampling technique to maintain the quality and fidelity of the generated images. Our method achieves comparable or superior fidelity for personalized objects, yielding a robust, versatile, and controllable text-to-image diffusion model that is capable of generating realistic and personalized images. Our approach demonstrates significant potential for various applications, such as those in art, entertainment, and advertising design.