Maak het tellen: Tekst-naar-beeldgeneratie met een nauwkeurig aantal objecten

Make It Count: Text-to-Image Generation with an Accurate Number of Objects

June 14, 2024

Auteurs: Lital Binyamin, Yoad Tewel, Hilit Segev, Eran Hirsch, Royi Rassin, Gal Chechik

cs.AI

Samenvatting

Ondanks de ongekende successen van tekst-naar-beeld diffusiemodellen, is het verrassend moeilijk om het aantal afgebeelde objecten te beheersen met behulp van tekst. Dit is belangrijk voor diverse toepassingen, van technische documenten tot kinderboeken en het illustreren van kookrecepten. Het genereren van objecten met de juiste telling is fundamenteel uitdagend omdat het generatieve model een gevoel van afzonderlijke identiteit moet behouden voor elk exemplaar van het object, zelfs als verschillende objecten identiek lijken of overlappen, en vervolgens impliciet een globale berekening moet uitvoeren tijdens het genereren. Het is nog steeds onbekend of dergelijke representaties bestaan. Om het genereren met de juiste telling aan te pakken, identificeren we eerst kenmerken binnen het diffusiemodel die de objectidentiteitsinformatie kunnen dragen. Vervolgens gebruiken we deze om exemplaren van objecten te scheiden en te tellen tijdens het denoiseproces, en om overgeneratie en ondergeneratie te detecteren. We repareren het laatste door een model te trainen dat zowel de vorm als de locatie van een ontbrekend object voorspelt, gebaseerd op de lay-out van bestaande objecten, en laten zien hoe dit kan worden gebruikt om het denoisen te begeleiden met het juiste aantal objecten. Onze aanpak, CountGen, is niet afhankelijk van een externe bron om de objectlay-out te bepalen, maar gebruikt in plaats daarvan de prior van het diffusiemodel zelf, waardoor prompt- en seed-afhankelijke lay-outs worden gecreëerd. Geëvalueerd op twee benchmarkdatasets, blijkt dat CountGen de tellingnauwkeurigheid van bestaande baseline-methoden sterk overtreft.

English

Despite the unprecedented success of text-to-image diffusion models, controlling the number of depicted objects using text is surprisingly hard. This is important for various applications from technical documents, to children's books to illustrating cooking recipes. Generating object-correct counts is fundamentally challenging because the generative model needs to keep a sense of separate identity for every instance of the object, even if several objects look identical or overlap, and then carry out a global computation implicitly during generation. It is still unknown if such representations exist. To address count-correct generation, we first identify features within the diffusion model that can carry the object identity information. We then use them to separate and count instances of objects during the denoising process and detect over-generation and under-generation. We fix the latter by training a model that predicts both the shape and location of a missing object, based on the layout of existing ones, and show how it can be used to guide denoising with correct object count. Our approach, CountGen, does not depend on external source to determine object layout, but rather uses the prior from the diffusion model itself, creating prompt-dependent and seed-dependent layouts. Evaluated on two benchmark datasets, we find that CountGen strongly outperforms the count-accuracy of existing baselines.