Mach es zählbar: Text-zu-Bild Generierung mit einer genauen Anzahl von Objekten

Make It Count: Text-to-Image Generation with an Accurate Number of Objects

June 14, 2024

Autoren: Lital Binyamin, Yoad Tewel, Hilit Segev, Eran Hirsch, Royi Rassin, Gal Chechik

cs.AI

Zusammenfassung

Trotz des beispiellosen Erfolgs von Text-zu-Bild-Diffusionsmodellen ist es überraschend schwierig, die Anzahl der dargestellten Objekte mithilfe von Text zu kontrollieren. Dies ist wichtig für verschiedene Anwendungen von technischen Dokumenten über Kinderbücher bis hin zur Illustration von Kochrezepten. Die Generierung von objektkorrekten Zählungen ist grundsätzlich anspruchsvoll, da das generative Modell für jede Instanz des Objekts ein separates Identitätsgefühl bewahren muss, selbst wenn mehrere Objekte identisch aussehen oder sich überschneiden, und dann implizit während der Generierung eine globale Berechnung durchführen muss. Es ist immer noch unbekannt, ob solche Repräsentationen existieren. Um die korrekte Generierung von Zählungen anzugehen, identifizieren wir zunächst Merkmale innerhalb des Diffusionsmodells, die die Objektidentitätsinformationen tragen können. Wir verwenden sie dann, um Instanzen von Objekten während des Rauschunterdrückungsprozesses zu trennen und zu zählen und Über- und Untererzeugung zu erkennen. Letzteres beheben wir, indem wir ein Modell trainieren, das sowohl die Form als auch den Standort eines fehlenden Objekts vorhersagt, basierend auf der Anordnung der vorhandenen Objekte, und zeigen, wie es zur Anleitung der Rauschunterdrückung mit korrekter Objektanzahl verwendet werden kann. Unser Ansatz, CountGen, ist nicht auf externe Quellen angewiesen, um die Objektanordnung zu bestimmen, sondern nutzt vielmehr das Priorwissen des Diffusionsmodells selbst, um promptabhängige und seedabhängige Layouts zu erstellen. Bei der Evaluierung anhand von zwei Benchmark-Datensätzen stellen wir fest, dass CountGen die Zählgenauigkeit bestehender Baselines deutlich übertrifft.

English

Despite the unprecedented success of text-to-image diffusion models, controlling the number of depicted objects using text is surprisingly hard. This is important for various applications from technical documents, to children's books to illustrating cooking recipes. Generating object-correct counts is fundamentally challenging because the generative model needs to keep a sense of separate identity for every instance of the object, even if several objects look identical or overlap, and then carry out a global computation implicitly during generation. It is still unknown if such representations exist. To address count-correct generation, we first identify features within the diffusion model that can carry the object identity information. We then use them to separate and count instances of objects during the denoising process and detect over-generation and under-generation. We fix the latter by training a model that predicts both the shape and location of a missing object, based on the layout of existing ones, and show how it can be used to guide denoising with correct object count. Our approach, CountGen, does not depend on external source to determine object layout, but rather uses the prior from the diffusion model itself, creating prompt-dependent and seed-dependent layouts. Evaluated on two benchmark datasets, we find that CountGen strongly outperforms the count-accuracy of existing baselines.