Haz que Cuente: Generación de Imágenes a partir de Texto con un Número Preciso de Objetos

Make It Count: Text-to-Image Generation with an Accurate Number of Objects

June 14, 2024

Autores: Lital Binyamin, Yoad Tewel, Hilit Segev, Eran Hirsch, Royi Rassin, Gal Chechik

cs.AI

Resumen

A pesar del éxito sin precedentes de los modelos de difusión de texto a imagen, controlar el número de objetos representados mediante texto es sorprendentemente difícil. Esto es importante para diversas aplicaciones, desde documentos técnicos hasta libros infantiles o la ilustración de recetas de cocina. Generar recuentos correctos de objetos es fundamentalmente desafiante porque el modelo generativo necesita mantener un sentido de identidad separada para cada instancia del objeto, incluso si varios objetos se ven idénticos o se superponen, y luego realizar un cálculo global de manera implícita durante la generación. Todavía se desconoce si tales representaciones existen. Para abordar la generación con recuentos correctos, primero identificamos características dentro del modelo de difusión que pueden transportar la información de identidad del objeto. Luego las utilizamos para separar y contar instancias de objetos durante el proceso de eliminación de ruido, detectando tanto la sobre-generación como la sub-generación. Corregimos esto último entrenando un modelo que predice tanto la forma como la ubicación de un objeto faltante, basándose en la disposición de los objetos existentes, y mostramos cómo puede usarse para guiar la eliminación de ruido con el recuento correcto de objetos. Nuestro enfoque, CountGen, no depende de una fuente externa para determinar la disposición de los objetos, sino que utiliza el conocimiento previo del propio modelo de difusión, creando disposiciones dependientes del prompt y de la semilla. Evaluado en dos conjuntos de datos de referencia, encontramos que CountGen supera ampliamente la precisión de recuento de las líneas base existentes.

English

Despite the unprecedented success of text-to-image diffusion models, controlling the number of depicted objects using text is surprisingly hard. This is important for various applications from technical documents, to children's books to illustrating cooking recipes. Generating object-correct counts is fundamentally challenging because the generative model needs to keep a sense of separate identity for every instance of the object, even if several objects look identical or overlap, and then carry out a global computation implicitly during generation. It is still unknown if such representations exist. To address count-correct generation, we first identify features within the diffusion model that can carry the object identity information. We then use them to separate and count instances of objects during the denoising process and detect over-generation and under-generation. We fix the latter by training a model that predicts both the shape and location of a missing object, based on the layout of existing ones, and show how it can be used to guide denoising with correct object count. Our approach, CountGen, does not depend on external source to determine object layout, but rather uses the prior from the diffusion model itself, creating prompt-dependent and seed-dependent layouts. Evaluated on two benchmark datasets, we find that CountGen strongly outperforms the count-accuracy of existing baselines.