IFAdapter: Control de Características de Instancia para la Generación de Texto a Imagen Aterrizada

IFAdapter: Instance Feature Control for Grounded Text-to-Image Generation

September 12, 2024

Autores: Yinwei Wu, Xianpan Zhou, Bing Ma, Xuefeng Su, Kai Ma, Xinchao Wang

cs.AI

Resumen

Si bien los modelos de difusión de Texto a Imagen (T2I) sobresalen en la generación de imágenes visualmente atractivas de instancias individuales, tienen dificultades para posicionar y controlar con precisión la generación de características de múltiples instancias. La tarea de Diseño a Imagen (L2I) se introdujo para abordar los desafíos de posicionamiento mediante la incorporación de cuadros delimitadores como señales de control espacial, pero aún no logra generar características de instancia precisas. En respuesta, proponemos la tarea de Generación de Características de Instancia (IFG), que tiene como objetivo garantizar tanto la precisión posicional como la fidelidad de las características en las instancias generadas. Para abordar la tarea IFG, presentamos el Adaptador de Características de Instancia (IFAdapter). El IFAdapter mejora la representación de características mediante la incorporación de tokens de apariencia adicionales y utilizando un Mapa Semántico de Instancia para alinear las características a nivel de instancia con las ubicaciones espaciales. El IFAdapter guía el proceso de difusión como un módulo plug-and-play, lo que lo hace adaptable a varios modelos de la comunidad. Para la evaluación, contribuimos con un banco de pruebas de IFG y desarrollamos un pipeline de verificación para comparar objetivamente las capacidades de los modelos en la generación de instancias con posicionamiento y características precisos. Los resultados experimentales demuestran que IFAdapter supera a otros modelos tanto en evaluaciones cuantitativas como cualitativas.

English

While Text-to-Image (T2I) diffusion models excel at generating visually appealing images of individual instances, they struggle to accurately position and control the features generation of multiple instances. The Layout-to-Image (L2I) task was introduced to address the positioning challenges by incorporating bounding boxes as spatial control signals, but it still falls short in generating precise instance features. In response, we propose the Instance Feature Generation (IFG) task, which aims to ensure both positional accuracy and feature fidelity in generated instances. To address the IFG task, we introduce the Instance Feature Adapter (IFAdapter). The IFAdapter enhances feature depiction by incorporating additional appearance tokens and utilizing an Instance Semantic Map to align instance-level features with spatial locations. The IFAdapter guides the diffusion process as a plug-and-play module, making it adaptable to various community models. For evaluation, we contribute an IFG benchmark and develop a verification pipeline to objectively compare models' abilities to generate instances with accurate positioning and features. Experimental results demonstrate that IFAdapter outperforms other models in both quantitative and qualitative evaluations.