IFAdapter: Instantiekenmerkbeheer voor Gecontextualiseerde Tekst-naar-Afbeelding Generatie

IFAdapter: Instance Feature Control for Grounded Text-to-Image Generation

September 12, 2024

Auteurs: Yinwei Wu, Xianpan Zhou, Bing Ma, Xuefeng Su, Kai Ma, Xinchao Wang

cs.AI

Samenvatting

Hoewel Text-to-Image (T2I) diffusiemodellen uitblinken in het genereren van visueel aantrekkelijke afbeeldingen van individuele instanties, hebben ze moeite om de kenmerken van meerdere instanties nauwkeurig te positioneren en te controleren. De Layout-to-Image (L2I) taak werd geïntroduceerd om de positioneringsuitdagingen aan te pakken door begrenzingskaders op te nemen als ruimtelijke controle signalen, maar het blijft tekortschieten in het genereren van nauwkeurige instantiekenmerken. Als reactie hierop stellen we de Instantiekenmerkgeneratie (IFG) taak voor, die tot doel heeft zowel positionele nauwkeurigheid als kenmerkgetrouwheid te waarborgen bij gegenereerde instanties. Om de IFG-taak aan te pakken, introduceren we de Instantiekenmerkadapter (IFAdapter). De IFAdapter verbetert de kenmerkweergave door extra verschijningstokens op te nemen en een Instantie Semantische Kaart te gebruiken om instantieniveaukenmerken af te stemmen op ruimtelijke locaties. De IFAdapter begeleidt het diffusieproces als een plug-and-play module, waardoor het aanpasbaar is aan verschillende gemeenschapsmodellen. Voor evaluatie dragen we bij aan een IFG benchmark en ontwikkelen we een verificatiepijplijn om objectief modellen te vergelijken op hun vermogen om instanties te genereren met nauwkeurige positionering en kenmerken. Experimentele resultaten tonen aan dat de IFAdapter andere modellen overtreft in zowel kwantitatieve als kwalitatieve evaluaties.

English

While Text-to-Image (T2I) diffusion models excel at generating visually appealing images of individual instances, they struggle to accurately position and control the features generation of multiple instances. The Layout-to-Image (L2I) task was introduced to address the positioning challenges by incorporating bounding boxes as spatial control signals, but it still falls short in generating precise instance features. In response, we propose the Instance Feature Generation (IFG) task, which aims to ensure both positional accuracy and feature fidelity in generated instances. To address the IFG task, we introduce the Instance Feature Adapter (IFAdapter). The IFAdapter enhances feature depiction by incorporating additional appearance tokens and utilizing an Instance Semantic Map to align instance-level features with spatial locations. The IFAdapter guides the diffusion process as a plug-and-play module, making it adaptable to various community models. For evaluation, we contribute an IFG benchmark and develop a verification pipeline to objectively compare models' abilities to generate instances with accurate positioning and features. Experimental results demonstrate that IFAdapter outperforms other models in both quantitative and qualitative evaluations.