RealCustom: Het verfijnen van echte tekstwoorden voor real-time open-domein tekst-naar-beeld aanpassing

RealCustom: Narrowing Real Text Word for Real-Time Open-Domain Text-to-Image Customization

March 1, 2024

Auteurs: Mengqi Huang, Zhendong Mao, Mingcong Liu, Qian He, Yongdong Zhang

cs.AI

Samenvatting

Text-to-image-personalisatie, dat als doel heeft tekstgestuurde afbeeldingen te genereren voor gegeven onderwerpen, heeft recentelijk een revolutie teweeggebracht in contentcreatie. Bestaande werken volgen het pseudo-woordparadigma, waarbij de gegeven onderwerpen worden weergegeven als pseudo-woorden en vervolgens worden gecombineerd met de gegeven tekst. Echter, de inherent verstrengelde invloedssfeer van pseudo-woorden met de gegeven tekst resulteert in een dubbeloptimumparadox, waarbij de gelijkenis van de gegeven onderwerpen en de bestuurbaarheid van de gegeven tekst niet tegelijkertijd optimaal kunnen zijn. Wij presenteren RealCustom, dat voor het eerst gelijkenis ontwart van bestuurbaarheid door de invloed van het onderwerp precies te beperken tot relevante delen, bereikt door het geleidelijk vernauwen van een echt tekstwoord van zijn algemene connotatie naar het specifieke onderwerp en het gebruik van zijn kruis-attentie om relevantie te onderscheiden. Specifiek introduceert RealCustom een nieuw "train-inference" ontkoppeld raamwerk: (1) tijdens de training leert RealCustom algemene alignering tussen visuele condities en originele tekstuele condities door een nieuw adaptief scoringsmodule om de invloedshoeveelheid adaptief te moduleren; (2) tijdens de inferentie wordt een nieuwe adaptieve maskerbegeleidingsstrategie voorgesteld om de invloedssfeer en invloedshoeveelheid van de gegeven onderwerpen iteratief bij te werken om de generatie van het echte tekstwoord geleidelijk te vernauwen. Uitgebreide experimenten demonstreren de superieure real-time personalisatiecapaciteit van RealCustom in het open domein, waarbij zowel een ongekende gelijkenis van de gegeven onderwerpen als bestuurbaarheid van de gegeven tekst voor het eerst worden bereikt. De projectpagina is https://corleone-huang.github.io/realcustom/.

English

Text-to-image customization, which aims to synthesize text-driven images for the given subjects, has recently revolutionized content creation. Existing works follow the pseudo-word paradigm, i.e., represent the given subjects as pseudo-words and then compose them with the given text. However, the inherent entangled influence scope of pseudo-words with the given text results in a dual-optimum paradox, i.e., the similarity of the given subjects and the controllability of the given text could not be optimal simultaneously. We present RealCustom that, for the first time, disentangles similarity from controllability by precisely limiting subject influence to relevant parts only, achieved by gradually narrowing real text word from its general connotation to the specific subject and using its cross-attention to distinguish relevance. Specifically, RealCustom introduces a novel "train-inference" decoupled framework: (1) during training, RealCustom learns general alignment between visual conditions to original textual conditions by a novel adaptive scoring module to adaptively modulate influence quantity; (2) during inference, a novel adaptive mask guidance strategy is proposed to iteratively update the influence scope and influence quantity of the given subjects to gradually narrow the generation of the real text word. Comprehensive experiments demonstrate the superior real-time customization ability of RealCustom in the open domain, achieving both unprecedented similarity of the given subjects and controllability of the given text for the first time. The project page is https://corleone-huang.github.io/realcustom/.