カスタマイズされたテキストから画像生成における詳細保持の向上：正則化不要のアプローチ

Enhancing Detail Preservation for Customized Text-to-Image Generation: A Regularization-Free Approach

May 23, 2023

著者: Yufan Zhou, Ruiyi Zhang, Tong Sun, Jinhui Xu

cs.AI

要旨

近年のテキストから画像を生成するモデルは、テキストに忠実な高品質な画像を生成する印象的な能力を示しています。しかし、ユーザーが提供する入力画像に基づいて新しい概念の画像を生成することは、依然として困難な課題です。この問題に対処するため、研究者たちは事前学習済みのテキストから画像を生成するモデルをカスタマイズするための様々な手法を探求してきました。現在、事前学習済みのテキストから画像生成モデルをカスタマイズする既存の手法のほとんどは、過学習を防ぐために正則化技術を使用しています。正則化はカスタマイズの課題を緩和し、テキストガイダンスに基づいた成功したコンテンツ作成を可能にしますが、モデルの能力を制限し、詳細な情報の損失や性能の低下を招く可能性があります。本研究では、正則化を使用せずにカスタマイズされたテキストから画像を生成するための新しいフレームワークを提案します。具体的には、提案するフレームワークはエンコーダネットワークと、正則化を使用せずに過学習問題に対処できる新しいサンプリング手法で構成されています。提案フレームワークにより、ユーザーが提供した1枚の画像のみを使用して、単一のGPU上で大規模なテキストから画像生成モデルを30秒以内にカスタマイズすることが可能です。実験では、提案フレームワークが既存の手法を上回り、より細かい詳細を保持することを実証しています。

English

Recent text-to-image generation models have demonstrated impressive capability of generating text-aligned images with high fidelity. However, generating images of novel concept provided by the user input image is still a challenging task. To address this problem, researchers have been exploring various methods for customizing pre-trained text-to-image generation models. Currently, most existing methods for customizing pre-trained text-to-image generation models involve the use of regularization techniques to prevent over-fitting. While regularization will ease the challenge of customization and leads to successful content creation with respect to text guidance, it may restrict the model capability, resulting in the loss of detailed information and inferior performance. In this work, we propose a novel framework for customized text-to-image generation without the use of regularization. Specifically, our proposed framework consists of an encoder network and a novel sampling method which can tackle the over-fitting problem without the use of regularization. With the proposed framework, we are able to customize a large-scale text-to-image generation model within half a minute on single GPU, with only one image provided by the user. We demonstrate in experiments that our proposed framework outperforms existing methods, and preserves more fine-grained details.