TextBoost：テキストエンコーダのファインチューニングを通じたテキストから画像へのワンショット個人化に向けて

TextBoost: Towards One-Shot Personalization of Text-to-Image Models via Fine-tuning Text Encoder

September 12, 2024

著者: NaHyeon Park, Kunhee Kim, Hyunjung Shim

cs.AI

要旨

最近のテキストから画像へのモデルにおける画期的な進展は、個人の画像生成における有望な研究領域を開拓し、ユーザーが自然言語プロンプトを使用して特定の対象の多様な画像を作成できるようにしています。ただし、既存の手法は、単一の参照画像のみを与えられた場合に性能が低下することがよくあります。これらの手法は入力に過剰適合しやすく、テキストプロンプトに関係なく非常に類似した出力を生成します。本論文では、過剰適合を緩和することにより、1回の個人化の課題に取り組み、テキストプロンプトを介して制御可能な画像の作成を可能にします。具体的には、テキストエンコーダに焦点を当てた選択的なファインチューニング戦略を提案します。さらに、特定の3つの主要なテクニックを導入して個人化の性能を向上させます：（1）特徴の分離を促進し過剰適合を緩和するための拡張トークン、（2）言語のドリフトを減らし多様なプロンプトに対する一般化を促進するための知識保存損失、および（3）効率的なトレーニングのためのSNR重み付きサンプリング。包括的な実験により、当社の手法が単一の参照画像のみを使用して高品質で多様な画像を効率的に生成し、メモリおよびストレージ要件を大幅に削減することが示されています。

English

Recent breakthroughs in text-to-image models have opened up promising research avenues in personalized image generation, enabling users to create diverse images of a specific subject using natural language prompts. However, existing methods often suffer from performance degradation when given only a single reference image. They tend to overfit the input, producing highly similar outputs regardless of the text prompt. This paper addresses the challenge of one-shot personalization by mitigating overfitting, enabling the creation of controllable images through text prompts. Specifically, we propose a selective fine-tuning strategy that focuses on the text encoder. Furthermore, we introduce three key techniques to enhance personalization performance: (1) augmentation tokens to encourage feature disentanglement and alleviate overfitting, (2) a knowledge-preservation loss to reduce language drift and promote generalizability across diverse prompts, and (3) SNR-weighted sampling for efficient training. Extensive experiments demonstrate that our approach efficiently generates high-quality, diverse images using only a single reference image while significantly reducing memory and storage requirements.