Miglioramento della Conservazione dei Dettagli per la Generazione Personalizzata di Immagini da Testo: Un Approccio Senza Regolarizzazione

Enhancing Detail Preservation for Customized Text-to-Image Generation: A Regularization-Free Approach

May 23, 2023

Autori: Yufan Zhou, Ruiyi Zhang, Tong Sun, Jinhui Xu

cs.AI

Abstract

I recenti modelli di generazione di immagini da testo hanno dimostrato una capacità impressionante di produrre immagini allineate al testo con alta fedeltà. Tuttavia, generare immagini di nuovi concetti forniti dall'immagine di input dell'utente rimane un compito impegnativo. Per affrontare questo problema, i ricercatori hanno esplorato vari metodi per personalizzare modelli pre-addestrati di generazione di immagini da testo. Attualmente, la maggior parte dei metodi esistenti per la personalizzazione di questi modelli pre-addestrati prevede l'uso di tecniche di regolarizzazione per prevenire l'overfitting. Sebbene la regolarizzazione faciliti la sfida della personalizzazione e porti a una creazione di contenuti di successo rispetto alla guida del testo, potrebbe limitare la capacità del modello, causando la perdita di informazioni dettagliate e prestazioni inferiori. In questo lavoro, proponiamo un nuovo framework per la generazione personalizzata di immagini da testo senza l'uso di regolarizzazione. Nello specifico, il nostro framework proposto consiste in una rete di codifica e un nuovo metodo di campionamento che può affrontare il problema dell'overfitting senza ricorrere alla regolarizzazione. Con il framework proposto, siamo in grado di personalizzare un modello su larga scala di generazione di immagini da testo in meno di mezzo minuto su una singola GPU, con una sola immagine fornita dall'utente. Dimostriamo negli esperimenti che il nostro framework supera i metodi esistenti e preserva dettagli più fini.

English

Recent text-to-image generation models have demonstrated impressive capability of generating text-aligned images with high fidelity. However, generating images of novel concept provided by the user input image is still a challenging task. To address this problem, researchers have been exploring various methods for customizing pre-trained text-to-image generation models. Currently, most existing methods for customizing pre-trained text-to-image generation models involve the use of regularization techniques to prevent over-fitting. While regularization will ease the challenge of customization and leads to successful content creation with respect to text guidance, it may restrict the model capability, resulting in the loss of detailed information and inferior performance. In this work, we propose a novel framework for customized text-to-image generation without the use of regularization. Specifically, our proposed framework consists of an encoder network and a novel sampling method which can tackle the over-fitting problem without the use of regularization. With the proposed framework, we are able to customize a large-scale text-to-image generation model within half a minute on single GPU, with only one image provided by the user. We demonstrate in experiments that our proposed framework outperforms existing methods, and preserves more fine-grained details.