IFAdapter: Controle de Características de Instância para Geração de Texto-para-Imagem Fundamentada

IFAdapter: Instance Feature Control for Grounded Text-to-Image Generation

September 12, 2024

Autores: Yinwei Wu, Xianpan Zhou, Bing Ma, Xuefeng Su, Kai Ma, Xinchao Wang

cs.AI

Resumo

Enquanto os modelos de difusão Texto-para-Imagem (T2I) se destacam na geração de imagens visualmente atraentes de instâncias individuais, eles têm dificuldade em posicionar e controlar com precisão a geração de características de múltiplas instâncias. A tarefa de Layout-para-Imagem (L2I) foi introduzida para lidar com os desafios de posicionamento incorporando caixas delimitadoras como sinais de controle espacial, mas ainda falha em gerar características precisas das instâncias. Em resposta, propomos a tarefa de Geração de Características de Instância (IFG), que visa garantir tanto a precisão posicional quanto a fidelidade das características nas instâncias geradas. Para abordar a tarefa IFG, introduzimos o Adaptador de Características de Instância (IFAdapter). O IFAdapter aprimora a representação de características incorporando tokens de aparência adicionais e utilizando um Mapa Semântico de Instância para alinhar as características de nível de instância com as localizações espaciais. O IFAdapter guia o processo de difusão como um módulo plug-and-play, tornando-o adaptável a vários modelos da comunidade. Para avaliação, contribuímos com um benchmark de IFG e desenvolvemos um pipeline de verificação para comparar objetivamente as habilidades dos modelos de gerar instâncias com posicionamento e características precisas. Resultados experimentais demonstram que o IFAdapter supera outros modelos em avaliações quantitativas e qualitativas.

English

While Text-to-Image (T2I) diffusion models excel at generating visually appealing images of individual instances, they struggle to accurately position and control the features generation of multiple instances. The Layout-to-Image (L2I) task was introduced to address the positioning challenges by incorporating bounding boxes as spatial control signals, but it still falls short in generating precise instance features. In response, we propose the Instance Feature Generation (IFG) task, which aims to ensure both positional accuracy and feature fidelity in generated instances. To address the IFG task, we introduce the Instance Feature Adapter (IFAdapter). The IFAdapter enhances feature depiction by incorporating additional appearance tokens and utilizing an Instance Semantic Map to align instance-level features with spatial locations. The IFAdapter guides the diffusion process as a plug-and-play module, making it adaptable to various community models. For evaluation, we contribute an IFG benchmark and develop a verification pipeline to objectively compare models' abilities to generate instances with accurate positioning and features. Experimental results demonstrate that IFAdapter outperforms other models in both quantitative and qualitative evaluations.