Generazione di Dati Sintetici Multi-Immagine per la Personalizzazione Testo-Immagine

Generating Multi-Image Synthetic Data for Text-to-Image Customization

February 3, 2025

Autori: Nupur Kumari, Xi Yin, Jun-Yan Zhu, Ishan Misra, Samaneh Azadi

cs.AI

Abstract

La personalizzazione dei modelli di testo-immagine consente agli utenti di inserire concetti personalizzati e generare i concetti in ambienti non visti. I metodi esistenti si basano o su costose ottimizzazioni al momento del test o addestrano encoder su set di dati di addestramento di singola immagine senza supervisione multi-immagine, portando a una peggiore qualità dell'immagine. Proponiamo un approccio semplice che affronta entrambi i limiti. Prima sfruttiamo modelli esistenti di testo-immagine e set di dati 3D per creare un set di dati di personalizzazione sintetico di alta qualità (SynCD) composto da immagini multiple dello stesso oggetto in diverse illuminazioni, sfondi e pose. Proponiamo quindi una nuova architettura di encoder basata su meccanismi di attenzione condivisa che incorporano meglio dettagli visivi dettagliati dalle immagini di input. Infine, proponiamo una nuova tecnica di inferenza che mitiga i problemi di sovraesposizione durante l'inferenza normalizzando i vettori di guida del testo e dell'immagine. Attraverso estesi esperimenti, mostriamo che il nostro modello, addestrato sul set di dati sintetico con l'encoder e l'algoritmo di inferenza proposti, supera i metodi esistenti senza sintonizzazione su benchmark standard di personalizzazione.

English

Customization of text-to-image models enables users to insert custom concepts and generate the concepts in unseen settings. Existing methods either rely on costly test-time optimization or train encoders on single-image training datasets without multi-image supervision, leading to worse image quality. We propose a simple approach that addresses both limitations. We first leverage existing text-to-image models and 3D datasets to create a high-quality Synthetic Customization Dataset (SynCD) consisting of multiple images of the same object in different lighting, backgrounds, and poses. We then propose a new encoder architecture based on shared attention mechanisms that better incorporate fine-grained visual details from input images. Finally, we propose a new inference technique that mitigates overexposure issues during inference by normalizing the text and image guidance vectors. Through extensive experiments, we show that our model, trained on the synthetic dataset with the proposed encoder and inference algorithm, outperforms existing tuning-free methods on standard customization benchmarks.