Сделать это важным: генерация изображений по тексту с точным количеством объектов

Make It Count: Text-to-Image Generation with an Accurate Number of Objects

June 14, 2024

Авторы: Lital Binyamin, Yoad Tewel, Hilit Segev, Eran Hirsch, Royi Rassin, Gal Chechik

cs.AI

Аннотация

Несмотря на невиданное успех моделей диффузии текста в изображение, управление количеством изображенных объектов с использованием текста удивительно сложно. Это важно для различных приложений, начиная от технических документов и детских книг, заканчивая иллюстрацией кулинарных рецептов. Генерация правильного количества объектов представляет собой фундаментальную сложность, поскольку генеративная модель должна сохранять чувство отдельной идентичности для каждого экземпляра объекта, даже если несколько объектов выглядят одинаково или перекрываются, и затем выполнять глобальные вычисления неявно во время генерации. Пока неизвестно, существуют ли такие представления. Для решения задачи генерации правильного количества объектов мы сначала выявляем особенности в модели диффузии, которые могут нести информацию об идентичности объекта. Затем мы используем их для разделения и подсчета экземпляров объектов во время процесса шумоподавления и обнаружения избыточной и недостаточной генерации. Мы исправляем последнее, обучая модель, которая предсказывает как форму, так и местоположение отсутствующего объекта на основе композиции существующих, и показываем, как это можно использовать для направления шумоподавления с правильным количеством объектов. Наш подход, CountGen, не зависит от внешнего источника для определения композиции объектов, а использует априорное знание из самой модели диффузии, создавая зависимые от запроса и зависимые от начального состояния композиции. Оценив на двух стандартных наборах данных, мы обнаружили, что CountGen значительно превосходит точность подсчета существующих базовых моделей.

English

Despite the unprecedented success of text-to-image diffusion models, controlling the number of depicted objects using text is surprisingly hard. This is important for various applications from technical documents, to children's books to illustrating cooking recipes. Generating object-correct counts is fundamentally challenging because the generative model needs to keep a sense of separate identity for every instance of the object, even if several objects look identical or overlap, and then carry out a global computation implicitly during generation. It is still unknown if such representations exist. To address count-correct generation, we first identify features within the diffusion model that can carry the object identity information. We then use them to separate and count instances of objects during the denoising process and detect over-generation and under-generation. We fix the latter by training a model that predicts both the shape and location of a missing object, based on the layout of existing ones, and show how it can be used to guide denoising with correct object count. Our approach, CountGen, does not depend on external source to determine object layout, but rather uses the prior from the diffusion model itself, creating prompt-dependent and seed-dependent layouts. Evaluated on two benchmark datasets, we find that CountGen strongly outperforms the count-accuracy of existing baselines.