RealCustom: Echtzeit-Anpassung von offenen Domänen für Text-zu-Bild-Generierung durch präzise Wortauswahl in realen Texten

RealCustom: Narrowing Real Text Word for Real-Time Open-Domain Text-to-Image Customization

March 1, 2024

Autoren: Mengqi Huang, Zhendong Mao, Mingcong Liu, Qian He, Yongdong Zhang

cs.AI

Zusammenfassung

Text-to-Image-Anpassung, die darauf abzielt, textgesteuerte Bilder für gegebene Subjekte zu synthetisieren, hat die Inhaltserstellung in letzter Zeit revolutioniert. Bestehende Arbeiten folgen dem Pseudowort-Paradigma, d.h., sie repräsentieren die gegebenen Subjekte als Pseudowörter und kombinieren diese dann mit dem gegebenen Text. Allerdings führt der inhärent verflochtene Einflussbereich von Pseudowörtern mit dem gegebenen Text zu einem Dual-Optimum-Paradox, d.h., die Ähnlichkeit der gegebenen Subjekte und die Steuerbarkeit des gegebenen Texts können nicht gleichzeitig optimal sein. Wir präsentieren RealCustom, das erstmals Ähnlichkeit von Steuerbarkeit entkoppelt, indem es den Einfluss des Subjekts präzise auf relevante Teile beschränkt. Dies wird erreicht, indem das reale Textwort schrittweise von seiner allgemeinen Bedeutung zum spezifischen Subjekt eingegrenzt und seine Cross-Attention zur Unterscheidung der Relevanz genutzt wird. Konkret führt RealCustom ein neuartiges „Trainings-Inferenz“-entkoppeltes Framework ein: (1) Während des Trainings lernt RealCustom die allgemeine Ausrichtung zwischen visuellen Bedingungen und ursprünglichen textuellen Bedingungen durch ein neuartiges adaptives Bewertungsmodul, um den Einflussumfang adaptiv zu modulieren; (2) während der Inferenz wird eine neuartige adaptive Maskenführungsstrategie vorgeschlagen, um den Einflussbereich und den Einflussumfang der gegebenen Subjekte iterativ zu aktualisieren und die Generierung des realen Textworts schrittweise einzugrenzen. Umfassende Experimente demonstrieren die überlegene Echtzeit-Anpassungsfähigkeit von RealCustom im offenen Bereich, wodurch erstmals sowohl eine beispiellose Ähnlichkeit der gegebenen Subjekte als auch die Steuerbarkeit des gegebenen Texts erreicht wird. Die Projektseite ist https://corleone-huang.github.io/realcustom/.

English

Text-to-image customization, which aims to synthesize text-driven images for the given subjects, has recently revolutionized content creation. Existing works follow the pseudo-word paradigm, i.e., represent the given subjects as pseudo-words and then compose them with the given text. However, the inherent entangled influence scope of pseudo-words with the given text results in a dual-optimum paradox, i.e., the similarity of the given subjects and the controllability of the given text could not be optimal simultaneously. We present RealCustom that, for the first time, disentangles similarity from controllability by precisely limiting subject influence to relevant parts only, achieved by gradually narrowing real text word from its general connotation to the specific subject and using its cross-attention to distinguish relevance. Specifically, RealCustom introduces a novel "train-inference" decoupled framework: (1) during training, RealCustom learns general alignment between visual conditions to original textual conditions by a novel adaptive scoring module to adaptively modulate influence quantity; (2) during inference, a novel adaptive mask guidance strategy is proposed to iteratively update the influence scope and influence quantity of the given subjects to gradually narrow the generation of the real text word. Comprehensive experiments demonstrate the superior real-time customization ability of RealCustom in the open domain, achieving both unprecedented similarity of the given subjects and controllability of the given text for the first time. The project page is https://corleone-huang.github.io/realcustom/.