Genereer Alles Overal in Elke Scene

Generate Anything Anywhere in Any Scene

June 29, 2023

Auteurs: Yuheng Li, Haotian Liu, Yangming Wen, Yong Jae Lee

cs.AI

Samenvatting

Text-to-image diffusiemodellen hebben aanzienlijke belangstelling getrokken vanwege hun brede toepasbaarheid in diverse velden. Er blijven echter uitdagingen bestaan bij het creëren van controleerbare modellen voor gepersonaliseerde objectgeneratie. In dit artikel identificeren we eerst de verstrengelingsproblemen in bestaande gepersonaliseerde generatieve modellen, en stellen vervolgens een eenvoudige en efficiënte data-augmentatietrainingsstrategie voor die het diffusiemodel leidt om zich uitsluitend te richten op objectidentiteit. Door de plug-and-play adapterlagen van een vooraf getraind controleerbaar diffusiemodel in te voegen, verkrijgt ons model de mogelijkheid om de locatie en grootte van elk gegenereerd gepersonaliseerd object te controleren. Tijdens de inferentie stellen we een regionaal geleide samplingtechniek voor om de kwaliteit en trouw van de gegenereerde afbeeldingen te behouden. Onze methode bereikt vergelijkbare of superieure trouw voor gepersonaliseerde objecten, wat resulteert in een robuust, veelzijdig en controleerbaar text-to-image diffusiemodel dat in staat is realistische en gepersonaliseerde afbeeldingen te genereren. Onze aanpak toont aanzienlijk potentieel voor diverse toepassingen, zoals in kunst, entertainment en advertentieontwerp.

English

Text-to-image diffusion models have attracted considerable interest due to their wide applicability across diverse fields. However, challenges persist in creating controllable models for personalized object generation. In this paper, we first identify the entanglement issues in existing personalized generative models, and then propose a straightforward and efficient data augmentation training strategy that guides the diffusion model to focus solely on object identity. By inserting the plug-and-play adapter layers from a pre-trained controllable diffusion model, our model obtains the ability to control the location and size of each generated personalized object. During inference, we propose a regionally-guided sampling technique to maintain the quality and fidelity of the generated images. Our method achieves comparable or superior fidelity for personalized objects, yielding a robust, versatile, and controllable text-to-image diffusion model that is capable of generating realistic and personalized images. Our approach demonstrates significant potential for various applications, such as those in art, entertainment, and advertising design.