IFAdapter: Управление признаками экземпляра для генерации изображения на основе текста

IFAdapter: Instance Feature Control for Grounded Text-to-Image Generation

September 12, 2024

Авторы: Yinwei Wu, Xianpan Zhou, Bing Ma, Xuefeng Su, Kai Ma, Xinchao Wang

cs.AI

Аннотация

В то время как модели диффузии текста в изображение (T2I) отличаются в создании визуально привлекательных изображений отдельных экземпляров, они испытывают трудности с точным позиционированием и управлением генерацией особенностей нескольких экземпляров. Задача разметки на изображение (L2I) была представлена для решения проблем позиционирования путем включения ограничивающих рамок в качестве сигналов пространственного управления, но она все еще не обеспечивает точную генерацию особенностей экземпляров. В ответ на это мы предлагаем задачу генерации особенностей экземпляра (IFG), которая направлена на обеспечение как точности позиционирования, так и верности особенностей в созданных экземплярах. Для решения задачи IFG мы представляем адаптер особенностей экземпляра (IFAdapter). IFAdapter улучшает изображение особенностей путем включения дополнительных токенов внешнего вида и использования семантической карты экземпляра для выравнивания особенностей на уровне экземпляра с пространственными положениями. IFAdapter направляет процесс диффузии как модуль "подключи и используй", что делает его адаптивным к различным моделям сообщества. Для оценки мы предлагаем бенчмарк IFG и разрабатываем конвейер верификации для объективного сравнения способностей моделей генерировать экземпляры с точным позиционированием и особенностями. Экспериментальные результаты показывают, что IFAdapter превосходит другие модели как в количественных, так и в качественных оценках.

English

While Text-to-Image (T2I) diffusion models excel at generating visually appealing images of individual instances, they struggle to accurately position and control the features generation of multiple instances. The Layout-to-Image (L2I) task was introduced to address the positioning challenges by incorporating bounding boxes as spatial control signals, but it still falls short in generating precise instance features. In response, we propose the Instance Feature Generation (IFG) task, which aims to ensure both positional accuracy and feature fidelity in generated instances. To address the IFG task, we introduce the Instance Feature Adapter (IFAdapter). The IFAdapter enhances feature depiction by incorporating additional appearance tokens and utilizing an Instance Semantic Map to align instance-level features with spatial locations. The IFAdapter guides the diffusion process as a plug-and-play module, making it adaptable to various community models. For evaluation, we contribute an IFG benchmark and develop a verification pipeline to objectively compare models' abilities to generate instances with accurate positioning and features. Experimental results demonstrate that IFAdapter outperforms other models in both quantitative and qualitative evaluations.