Erzeuge Alles Überall in Jeder Szene

Generate Anything Anywhere in Any Scene

June 29, 2023

Autoren: Yuheng Li, Haotian Liu, Yangming Wen, Yong Jae Lee

cs.AI

Zusammenfassung

Text-to-Image-Diffusionsmodelle haben aufgrund ihrer breiten Anwendbarkeit in verschiedenen Bereichen erhebliches Interesse geweckt. Dennoch bestehen weiterhin Herausforderungen bei der Entwicklung kontrollierbarer Modelle für die personalisierte Objekterzeugung. In diesem Artikel identifizieren wir zunächst die Verflechtungsprobleme in bestehenden personalisierten generativen Modellen und schlagen dann eine einfache und effiziente Trainingsstrategie zur Datenaugmentierung vor, die das Diffusionsmodell dazu anleitet, sich ausschließlich auf die Objektidentität zu konzentrieren. Durch das Einfügen von Plug-and-Play-Adapter-Schichten aus einem vortrainierten kontrollierbaren Diffusionsmodell erhält unser Modell die Fähigkeit, die Position und Größe jedes generierten personalisierten Objekts zu steuern. Während der Inferenz schlagen wir eine regional gesteuerte Sampling-Technik vor, um die Qualität und Treue der generierten Bilder zu bewahren. Unser Ansatz erreicht eine vergleichbare oder überlegene Treue für personalisierte Objekte und führt zu einem robusten, vielseitigen und kontrollierbaren Text-to-Image-Diffusionsmodell, das in der Lage ist, realistische und personalisierte Bilder zu erzeugen. Unser Ansatz zeigt ein erhebliches Potenzial für verschiedene Anwendungen, wie beispielsweise in den Bereichen Kunst, Unterhaltung und Werbegestaltung.

English

Text-to-image diffusion models have attracted considerable interest due to their wide applicability across diverse fields. However, challenges persist in creating controllable models for personalized object generation. In this paper, we first identify the entanglement issues in existing personalized generative models, and then propose a straightforward and efficient data augmentation training strategy that guides the diffusion model to focus solely on object identity. By inserting the plug-and-play adapter layers from a pre-trained controllable diffusion model, our model obtains the ability to control the location and size of each generated personalized object. During inference, we propose a regionally-guided sampling technique to maintain the quality and fidelity of the generated images. Our method achieves comparable or superior fidelity for personalized objects, yielding a robust, versatile, and controllable text-to-image diffusion model that is capable of generating realistic and personalized images. Our approach demonstrates significant potential for various applications, such as those in art, entertainment, and advertising design.