Genereren van synthetische data met meerdere afbeeldingen voor het aanpassen van tekst naar afbeelding

Generating Multi-Image Synthetic Data for Text-to-Image Customization

February 3, 2025

Auteurs: Nupur Kumari, Xi Yin, Jun-Yan Zhu, Ishan Misra, Samaneh Azadi

cs.AI

Samenvatting

Het aanpassen van tekst-naar-afbeelding modellen stelt gebruikers in staat om aangepaste concepten in te voegen en de concepten te genereren in ongeziene omgevingen. Bestaande methoden vertrouwen ofwel op kostbare optimalisatie tijdens de testfase of trainen encoders op enkelvoudige afbeelding-trainingsdatasets zonder supervisie van meerdere afbeeldingen, wat resulteert in een lagere beeldkwaliteit. Wij stellen een eenvoudige benadering voor die beide beperkingen aanpakt. We maken eerst gebruik van bestaande tekst-naar-afbeelding modellen en 3D-datasets om een hoogwaardige Synthetische Aanpassingsdataset (SynCD) te creëren, bestaande uit meerdere afbeeldingen van hetzelfde object in verschillende belichtingen, achtergronden en poses. Vervolgens stellen we een nieuwe encoderarchitectuur voor op basis van gedeelde aandachtsmechanismen die fijnmazige visuele details van invoerafbeeldingen beter opnemen. Ten slotte stellen we een nieuwe inferentietechniek voor die overbelichtingsproblemen tijdens inferentie vermindert door normalisatie van de tekst- en afbeeldingsbegeleidingsvectoren. Via uitgebreide experimenten tonen we aan dat ons model, getraind op de synthetische dataset met de voorgestelde encoder en inferentiealgoritme, beter presteert dan bestaande afstemmingsvrije methoden op standaard aanpassingsbenchmarks.

English

Customization of text-to-image models enables users to insert custom concepts and generate the concepts in unseen settings. Existing methods either rely on costly test-time optimization or train encoders on single-image training datasets without multi-image supervision, leading to worse image quality. We propose a simple approach that addresses both limitations. We first leverage existing text-to-image models and 3D datasets to create a high-quality Synthetic Customization Dataset (SynCD) consisting of multiple images of the same object in different lighting, backgrounds, and poses. We then propose a new encoder architecture based on shared attention mechanisms that better incorporate fine-grained visual details from input images. Finally, we propose a new inference technique that mitigates overexposure issues during inference by normalizing the text and image guidance vectors. Through extensive experiments, we show that our model, trained on the synthetic dataset with the proposed encoder and inference algorithm, outperforms existing tuning-free methods on standard customization benchmarks.