RealCustom: Affinamento delle parole del testo reale per la personalizzazione testo-immagine in tempo reale in domini aperti

RealCustom: Narrowing Real Text Word for Real-Time Open-Domain Text-to-Image Customization

March 1, 2024

Autori: Mengqi Huang, Zhendong Mao, Mingcong Liu, Qian He, Yongdong Zhang

cs.AI

Abstract

La personalizzazione da testo a immagine, che mira a sintetizzare immagini guidate da testo per i soggetti specificati, ha recentemente rivoluzionato la creazione di contenuti. I lavori esistenti seguono il paradigma delle pseudo-parole, ovvero rappresentano i soggetti specificati come pseudo-parole e poi le compongono con il testo fornito. Tuttavia, l'intrinseco ambito di influenza intrecciato delle pseudo-parole con il testo dato risulta in un paradosso del doppio ottimo, cioè la somiglianza dei soggetti specificati e la controllabilità del testo fornito non possono essere ottimali simultaneamente. Presentiamo RealCustom che, per la prima volta, separa la somiglianza dalla controllabilità limitando con precisione l'influenza del soggetto solo alle parti rilevanti, ottenuto restringendo gradualmente la parola reale del testo dalla sua connotazione generale al soggetto specifico e utilizzando la sua cross-attention per distinguere la rilevanza. Nello specifico, RealCustom introduce un nuovo framework "train-inference" disaccoppiato: (1) durante l'addestramento, RealCustom apprende l'allineamento generale tra le condizioni visive e le condizioni testuali originali attraverso un nuovo modulo di scoring adattivo per modulare adattivamente la quantità di influenza; (2) durante l'inferenza, viene proposta una nuova strategia di guida a maschera adattativa per aggiornare iterativamente l'ambito di influenza e la quantità di influenza dei soggetti specificati, restringendo gradualmente la generazione della parola reale del testo. Esperimenti completi dimostrano la superiore capacità di personalizzazione in tempo reale di RealCustom nel dominio aperto, raggiungendo sia una somiglianza senza precedenti dei soggetti specificati che una controllabilità del testo fornito per la prima volta. La pagina del progetto è https://corleone-huang.github.io/realcustom/.

English

Text-to-image customization, which aims to synthesize text-driven images for the given subjects, has recently revolutionized content creation. Existing works follow the pseudo-word paradigm, i.e., represent the given subjects as pseudo-words and then compose them with the given text. However, the inherent entangled influence scope of pseudo-words with the given text results in a dual-optimum paradox, i.e., the similarity of the given subjects and the controllability of the given text could not be optimal simultaneously. We present RealCustom that, for the first time, disentangles similarity from controllability by precisely limiting subject influence to relevant parts only, achieved by gradually narrowing real text word from its general connotation to the specific subject and using its cross-attention to distinguish relevance. Specifically, RealCustom introduces a novel "train-inference" decoupled framework: (1) during training, RealCustom learns general alignment between visual conditions to original textual conditions by a novel adaptive scoring module to adaptively modulate influence quantity; (2) during inference, a novel adaptive mask guidance strategy is proposed to iteratively update the influence scope and influence quantity of the given subjects to gradually narrow the generation of the real text word. Comprehensive experiments demonstrate the superior real-time customization ability of RealCustom in the open domain, achieving both unprecedented similarity of the given subjects and controllability of the given text for the first time. The project page is https://corleone-huang.github.io/realcustom/.