RealCustom: リアルタイムオープンドメインテキストから画像へのカスタマイズのためのリアルテキストワードの絞り込み

RealCustom: Narrowing Real Text Word for Real-Time Open-Domain Text-to-Image Customization

March 1, 2024

著者: Mengqi Huang, Zhendong Mao, Mingcong Liu, Qian He, Yongdong Zhang

cs.AI

要旨

テキストから画像へのカスタマイズは、与えられた主題に対してテキスト駆動の画像を合成することを目的としており、最近ではコンテンツ作成に革命をもたらしています。既存の研究は、疑似単語パラダイムに従っており、与えられた主題を疑似単語として表現し、その後、与えられたテキストと組み合わせます。しかし、疑似単語と与えられたテキストの内在的な絡み合った影響範囲は、二重最適のパラドックスを引き起こします。つまり、与えられた主題の類似性と与えられたテキストの制御性を同時に最適化することができないという問題です。本研究では、RealCustomを提案し、初めて類似性と制御性を切り離すことに成功しました。これは、主題の影響を関連する部分のみに正確に限定し、一般的な意味から特定の主題へと実在のテキスト単語を徐々に狭め、そのクロスアテンションを使用して関連性を区別することによって達成されます。具体的には、RealCustomは新しい「訓練-推論」分離フレームワークを導入します：（1）訓練中、RealCustomは新しい適応スコアリングモジュールを使用して、視覚的条件と元のテキスト条件の間の一般的な整合性を学習し、影響量を適応的に調整します；（2）推論中、新しい適応マスクガイダンス戦略を提案し、与えられた主題の影響範囲と影響量を反復的に更新して、実在のテキスト単語の生成を徐々に狭めます。包括的な実験により、RealCustomがオープンドメインにおいて優れたリアルタイムカスタマイズ能力を発揮し、与えられた主題の類似性と与えられたテキストの制御性を初めて同時に達成することが実証されました。プロジェクトページはhttps://corleone-huang.github.io/realcustom/です。

English

Text-to-image customization, which aims to synthesize text-driven images for the given subjects, has recently revolutionized content creation. Existing works follow the pseudo-word paradigm, i.e., represent the given subjects as pseudo-words and then compose them with the given text. However, the inherent entangled influence scope of pseudo-words with the given text results in a dual-optimum paradox, i.e., the similarity of the given subjects and the controllability of the given text could not be optimal simultaneously. We present RealCustom that, for the first time, disentangles similarity from controllability by precisely limiting subject influence to relevant parts only, achieved by gradually narrowing real text word from its general connotation to the specific subject and using its cross-attention to distinguish relevance. Specifically, RealCustom introduces a novel "train-inference" decoupled framework: (1) during training, RealCustom learns general alignment between visual conditions to original textual conditions by a novel adaptive scoring module to adaptively modulate influence quantity; (2) during inference, a novel adaptive mask guidance strategy is proposed to iteratively update the influence scope and influence quantity of the given subjects to gradually narrow the generation of the real text word. Comprehensive experiments demonstrate the superior real-time customization ability of RealCustom in the open domain, achieving both unprecedented similarity of the given subjects and controllability of the given text for the first time. The project page is https://corleone-huang.github.io/realcustom/.