RealCustom: Сужение реального текстового слова для настраиваемой генерации изображений в реальном времени в открытой области.
RealCustom: Narrowing Real Text Word for Real-Time Open-Domain Text-to-Image Customization
March 1, 2024
Авторы: Mengqi Huang, Zhendong Mao, Mingcong Liu, Qian He, Yongdong Zhang
cs.AI
Аннотация
Персонализация текста в изображение, направленная на синтез изображений, управляемых текстом для заданных объектов, недавно революционизировала создание контента. Существующие работы следуют парадигме псевдослов, т.е. представляют заданные объекты как псевдослова, а затем комбинируют их с данным текстом. Однако внутренняя запутанная область влияния псевдослов на данный текст приводит к парадоксу двойной оптимальности, т.е. сходство заданных объектов и управляемость данного текста не могут быть оптимальными одновременно. Мы представляем RealCustom, который впервые разделяет сходство и управляемость, точно ограничивая влияние объекта только на соответствующие части, достигая этого путем постепенного сужения реального слова текста от его общего значения к конкретному объекту и использования кросс-внимания для выделения релевантности. Конкретно, RealCustom вводит новую декоррелированную структуру "обучение-вывод": (1) во время обучения RealCustom изучает общее соответствие между визуальными условиями и оригинальными текстовыми условиями с помощью нового адаптивного модуля оценки для адаптивного модулирования количества влияния; (2) во время вывода предлагается новая стратегия адаптивного маскирования для итеративного обновления области влияния и количества влияния заданных объектов для постепенного сужения генерации реального слова текста. Комплексные эксперименты демонстрируют превосходную возможность мгновенной персонализации RealCustom в открытом домене, впервые достигая как беспрецедентного сходства заданных объектов, так и управляемости данного текста. Страница проекта находится по адресу https://corleone-huang.github.io/realcustom/.
English
Text-to-image customization, which aims to synthesize text-driven images for
the given subjects, has recently revolutionized content creation. Existing
works follow the pseudo-word paradigm, i.e., represent the given subjects as
pseudo-words and then compose them with the given text. However, the inherent
entangled influence scope of pseudo-words with the given text results in a
dual-optimum paradox, i.e., the similarity of the given subjects and the
controllability of the given text could not be optimal simultaneously. We
present RealCustom that, for the first time, disentangles similarity from
controllability by precisely limiting subject influence to relevant parts only,
achieved by gradually narrowing real text word from its general connotation to
the specific subject and using its cross-attention to distinguish relevance.
Specifically, RealCustom introduces a novel "train-inference" decoupled
framework: (1) during training, RealCustom learns general alignment between
visual conditions to original textual conditions by a novel adaptive scoring
module to adaptively modulate influence quantity; (2) during inference, a novel
adaptive mask guidance strategy is proposed to iteratively update the influence
scope and influence quantity of the given subjects to gradually narrow the
generation of the real text word. Comprehensive experiments demonstrate the
superior real-time customization ability of RealCustom in the open domain,
achieving both unprecedented similarity of the given subjects and
controllability of the given text for the first time. The project page is
https://corleone-huang.github.io/realcustom/.