Rendilo Contare: Generazione di Immagini da Testo con un Numero Preciso di Oggetti

Make It Count: Text-to-Image Generation with an Accurate Number of Objects

June 14, 2024

Autori: Lital Binyamin, Yoad Tewel, Hilit Segev, Eran Hirsch, Royi Rassin, Gal Chechik

cs.AI

Abstract

Nonostante il successo senza precedenti dei modelli di diffusione testo-immagine, controllare il numero di oggetti rappresentati utilizzando il testo è sorprendentemente difficile. Questo aspetto è importante per varie applicazioni, dai documenti tecnici ai libri per bambini fino all'illustrazione di ricette di cucina. Generare conteggi corretti degli oggetti è fondamentalmente impegnativo perché il modello generativo deve mantenere un senso di identità separata per ogni istanza dell'oggetto, anche se diversi oggetti appaiono identici o si sovrappongono, e poi eseguire implicitamente un calcolo globale durante la generazione. Non è ancora noto se tali rappresentazioni esistano. Per affrontare la generazione con conteggi corretti, identifichiamo prima le caratteristiche all'interno del modello di diffusione che possono trasportare le informazioni sull'identità degli oggetti. Le utilizziamo quindi per separare e contare le istanze degli oggetti durante il processo di denoising e rilevare la sovra-generazione e la sotto-generazione. Correggiamo quest'ultima addestrando un modello che prevede sia la forma che la posizione di un oggetto mancante, basandosi sul layout di quelli esistenti, e mostriamo come può essere utilizzato per guidare il denoising con il conteggio corretto degli oggetti. Il nostro approccio, CountGen, non dipende da fonti esterne per determinare il layout degli oggetti, ma utilizza invece il prior del modello di diffusione stesso, creando layout dipendenti dal prompt e dal seed. Valutato su due dataset di benchmark, scopriamo che CountGen supera nettamente l'accuratezza del conteggio delle baseline esistenti.

English

Despite the unprecedented success of text-to-image diffusion models, controlling the number of depicted objects using text is surprisingly hard. This is important for various applications from technical documents, to children's books to illustrating cooking recipes. Generating object-correct counts is fundamentally challenging because the generative model needs to keep a sense of separate identity for every instance of the object, even if several objects look identical or overlap, and then carry out a global computation implicitly during generation. It is still unknown if such representations exist. To address count-correct generation, we first identify features within the diffusion model that can carry the object identity information. We then use them to separate and count instances of objects during the denoising process and detect over-generation and under-generation. We fix the latter by training a model that predicts both the shape and location of a missing object, based on the layout of existing ones, and show how it can be used to guide denoising with correct object count. Our approach, CountGen, does not depend on external source to determine object layout, but rather uses the prior from the diffusion model itself, creating prompt-dependent and seed-dependent layouts. Evaluated on two benchmark datasets, we find that CountGen strongly outperforms the count-accuracy of existing baselines.