Генерировать что угодно, где угодно, в любой сцене

Generate Anything Anywhere in Any Scene

June 29, 2023

Авторы: Yuheng Li, Haotian Liu, Yangming Wen, Yong Jae Lee

cs.AI

Аннотация

Модели диффузии для генерации изображений из текста привлекают значительный интерес благодаря их широкой применимости в различных областях. Однако сохраняются сложности в создании управляемых моделей для персонализированной генерации объектов. В данной работе мы сначала выявляем проблемы запутанности в существующих персонализированных генеративных моделях, а затем предлагаем простую и эффективную стратегию обучения с использованием аугментации данных, которая направляет модель диффузии на фокусировку исключительно на идентичности объекта. Путем внедрения слоев адаптера plug-and-play из предварительно обученной управляемой модели диффузии, наша модель приобретает способность контролировать местоположение и размер каждого генерируемого персонализированного объекта. В процессе вывода мы предлагаем технику регионально-направленной выборки для сохранения качества и достоверности генерируемых изображений. Наш метод обеспечивает сопоставимую или превосходящую достоверность для персонализированных объектов, создавая надежную, универсальную и управляемую модель диффузии для генерации изображений из текста, способную создавать реалистичные и персонализированные изображения. Наш подход демонстрирует значительный потенциал для различных приложений, таких как искусство, развлечения и дизайн рекламы.

English

Text-to-image diffusion models have attracted considerable interest due to their wide applicability across diverse fields. However, challenges persist in creating controllable models for personalized object generation. In this paper, we first identify the entanglement issues in existing personalized generative models, and then propose a straightforward and efficient data augmentation training strategy that guides the diffusion model to focus solely on object identity. By inserting the plug-and-play adapter layers from a pre-trained controllable diffusion model, our model obtains the ability to control the location and size of each generated personalized object. During inference, we propose a regionally-guided sampling technique to maintain the quality and fidelity of the generated images. Our method achieves comparable or superior fidelity for personalized objects, yielding a robust, versatile, and controllable text-to-image diffusion model that is capable of generating realistic and personalized images. Our approach demonstrates significant potential for various applications, such as those in art, entertainment, and advertising design.