Faites-en le compte : Génération d'images à partir de texte avec un nombre précis d'objets

Make It Count: Text-to-Image Generation with an Accurate Number of Objects

June 14, 2024

Auteurs: Lital Binyamin, Yoad Tewel, Hilit Segev, Eran Hirsch, Royi Rassin, Gal Chechik

cs.AI

Résumé

Malgré le succès sans précédent des modèles de diffusion texte-image, contrôler le nombre d'objets représentés à l'aide de texte s'avère étonnamment difficile. Ceci est important pour diverses applications, allant des documents techniques aux livres pour enfants en passant par l'illustration de recettes de cuisine. Générer des comptes d'objets corrects est fondamentalement complexe car le modèle génératif doit maintenir une identité distincte pour chaque instance de l'objet, même si plusieurs objets semblent identiques ou se chevauchent, puis effectuer un calcul global de manière implicite lors de la génération. On ignore encore si de telles représentations existent. Pour aborder la génération avec un compte correct, nous identifions d'abord les caractéristiques du modèle de diffusion qui peuvent porter l'information sur l'identité de l'objet. Nous les utilisons ensuite pour séparer et compter les instances d'objets pendant le processus de débruitage, et détecter la sur-génération et la sous-génération. Nous corrigeons cette dernière en entraînant un modèle qui prédit à la fois la forme et la position d'un objet manquant, en se basant sur la disposition des objets existants, et montrons comment il peut être utilisé pour guider le débruitage avec un compte d'objets correct. Notre approche, CountGen, ne dépend pas d'une source externe pour déterminer la disposition des objets, mais utilise plutôt l'a priori du modèle de diffusion lui-même, créant des dispositions dépendantes de l'invite et de la graine. Évalué sur deux ensembles de données de référence, nous constatons que CountGen surpasse largement la précision de compte des bases de référence existantes.

English

Despite the unprecedented success of text-to-image diffusion models, controlling the number of depicted objects using text is surprisingly hard. This is important for various applications from technical documents, to children's books to illustrating cooking recipes. Generating object-correct counts is fundamentally challenging because the generative model needs to keep a sense of separate identity for every instance of the object, even if several objects look identical or overlap, and then carry out a global computation implicitly during generation. It is still unknown if such representations exist. To address count-correct generation, we first identify features within the diffusion model that can carry the object identity information. We then use them to separate and count instances of objects during the denoising process and detect over-generation and under-generation. We fix the latter by training a model that predicts both the shape and location of a missing object, based on the layout of existing ones, and show how it can be used to guide denoising with correct object count. Our approach, CountGen, does not depend on external source to determine object layout, but rather uses the prior from the diffusion model itself, creating prompt-dependent and seed-dependent layouts. Evaluated on two benchmark datasets, we find that CountGen strongly outperforms the count-accuracy of existing baselines.