Generación de Datos Sintéticos de Múltiples Imágenes para la Personalización Texto a Imagen.

Generating Multi-Image Synthetic Data for Text-to-Image Customization

February 3, 2025

Autores: Nupur Kumari, Xi Yin, Jun-Yan Zhu, Ishan Misra, Samaneh Azadi

cs.AI

Resumen

La personalización de modelos de texto a imagen permite a los usuarios insertar conceptos personalizados y generar los conceptos en entornos no vistos. Los métodos existentes se basan en la costosa optimización en tiempo de prueba o entrenan codificadores en conjuntos de datos de entrenamiento de una sola imagen sin supervisión multiimagen, lo que resulta en una calidad de imagen inferior. Proponemos un enfoque simple que aborda ambas limitaciones. En primer lugar, aprovechamos los modelos existentes de texto a imagen y conjuntos de datos 3D para crear un Conjunto de Datos de Personalización Sintético de alta calidad (SynCD) que consiste en múltiples imágenes del mismo objeto en diferentes iluminaciones, fondos y poses. Luego proponemos una nueva arquitectura de codificador basada en mecanismos de atención compartida que incorpora mejor los detalles visuales detallados de las imágenes de entrada. Finalmente, proponemos una nueva técnica de inferencia que mitiga los problemas de sobreexposición durante la inferencia normalizando los vectores de guía de texto e imagen. A través de experimentos extensos, demostramos que nuestro modelo, entrenado en el conjunto de datos sintético con el codificador propuesto y el algoritmo de inferencia, supera a los métodos existentes sin ajuste en bancos de pruebas estándar de personalización.

English

Customization of text-to-image models enables users to insert custom concepts and generate the concepts in unseen settings. Existing methods either rely on costly test-time optimization or train encoders on single-image training datasets without multi-image supervision, leading to worse image quality. We propose a simple approach that addresses both limitations. We first leverage existing text-to-image models and 3D datasets to create a high-quality Synthetic Customization Dataset (SynCD) consisting of multiple images of the same object in different lighting, backgrounds, and poses. We then propose a new encoder architecture based on shared attention mechanisms that better incorporate fine-grained visual details from input images. Finally, we propose a new inference technique that mitigates overexposure issues during inference by normalizing the text and image guidance vectors. Through extensive experiments, we show that our model, trained on the synthetic dataset with the proposed encoder and inference algorithm, outperforms existing tuning-free methods on standard customization benchmarks.