IFAdapter: Instanzmerkmalssteuerung für die verankerte Text-zu-Bild-Generierung

IFAdapter: Instance Feature Control for Grounded Text-to-Image Generation

September 12, 2024

Autoren: Yinwei Wu, Xianpan Zhou, Bing Ma, Xuefeng Su, Kai Ma, Xinchao Wang

cs.AI

Zusammenfassung

Während Text-zu-Bild (T2I) Diffusionsmodelle hervorragend darin sind, visuell ansprechende Bilder einzelner Instanzen zu generieren, haben sie Schwierigkeiten, die Merkmalsgenerierung mehrerer Instanzen genau zu positionieren und zu steuern. Die Layout-zu-Bild (L2I) Aufgabe wurde eingeführt, um die Positionierungsherausforderungen durch die Einbeziehung von Bounding-Boxen als räumliche Steuersignale anzugehen, aber sie erreicht immer noch nicht die präzise Generierung von Instanzmerkmalen. Als Antwort schlagen wir die Aufgabe der Instanzmerkmalgenerierung (IFG) vor, die darauf abzielt, sowohl die Positionsgenauigkeit als auch die Merkmalsfidelität bei generierten Instanzen sicherzustellen. Um die IFG-Aufgabe anzugehen, führen wir den Instanzmerkmaladapter (IFAdapter) ein. Der IFAdapter verbessert die Merkmalsdarstellung, indem er zusätzliche Erscheinungstoken einbezieht und eine Instanzsemantikkarte verwendet, um Instanzebenenmerkmale mit räumlichen Positionen abzustimmen. Der IFAdapter lenkt den Diffusionsprozess als Plug-and-Play-Modul und macht ihn anpassbar an verschiedene Community-Modelle. Zur Bewertung tragen wir einen IFG-Benchmark bei und entwickeln eine Verifizierungspipeline, um die Fähigkeiten der Modelle zur Generierung von Instanzen mit genauer Positionierung und Merkmalen objektiv zu vergleichen. Experimentelle Ergebnisse zeigen, dass der IFAdapter in quantitativen und qualitativen Bewertungen andere Modelle übertrifft.

English

While Text-to-Image (T2I) diffusion models excel at generating visually appealing images of individual instances, they struggle to accurately position and control the features generation of multiple instances. The Layout-to-Image (L2I) task was introduced to address the positioning challenges by incorporating bounding boxes as spatial control signals, but it still falls short in generating precise instance features. In response, we propose the Instance Feature Generation (IFG) task, which aims to ensure both positional accuracy and feature fidelity in generated instances. To address the IFG task, we introduce the Instance Feature Adapter (IFAdapter). The IFAdapter enhances feature depiction by incorporating additional appearance tokens and utilizing an Instance Semantic Map to align instance-level features with spatial locations. The IFAdapter guides the diffusion process as a plug-and-play module, making it adaptable to various community models. For evaluation, we contribute an IFG benchmark and develop a verification pipeline to objectively compare models' abilities to generate instances with accurate positioning and features. Experimental results demonstrate that IFAdapter outperforms other models in both quantitative and qualitative evaluations.