Faça Valer: Geração de Texto para Imagem com um Número Preciso de Objetos

Make It Count: Text-to-Image Generation with an Accurate Number of Objects

June 14, 2024

Autores: Lital Binyamin, Yoad Tewel, Hilit Segev, Eran Hirsch, Royi Rassin, Gal Chechik

cs.AI

Resumo

Apesar do sucesso sem precedentes dos modelos de difusão de texto para imagem, controlar o número de objetos representados usando texto é surpreendentemente difícil. Isso é importante para diversas aplicações, desde documentos técnicos até livros infantis e ilustrações de receitas culinárias. Gerar contagens corretas de objetos é fundamentalmente desafiador porque o modelo generativo precisa manter um senso de identidade separada para cada instância do objeto, mesmo que vários objetos pareçam idênticos ou se sobreponham, e então realizar implicitamente um cálculo global durante a geração. Ainda não se sabe se tais representações existem. Para abordar a geração com contagem correta, primeiro identificamos características dentro do modelo de difusão que podem carregar informações de identidade do objeto. Em seguida, as usamos para separar e contar instâncias de objetos durante o processo de remoção de ruído, detectando supergeração e subgeração. Corrigimos a subgeração treinando um modelo que prevê tanto a forma quanto a localização de um objeto ausente, com base no layout dos objetos existentes, e mostramos como ele pode ser usado para guiar a remoção de ruído com a contagem correta de objetos. Nossa abordagem, CountGen, não depende de fontes externas para determinar o layout dos objetos, mas sim utiliza o conhecimento prévio do próprio modelo de difusão, criando layouts dependentes do prompt e da semente. Avaliado em dois conjuntos de dados de referência, descobrimos que o CountGen supera significativamente a precisão de contagem das linhas de base existentes.

English

Despite the unprecedented success of text-to-image diffusion models, controlling the number of depicted objects using text is surprisingly hard. This is important for various applications from technical documents, to children's books to illustrating cooking recipes. Generating object-correct counts is fundamentally challenging because the generative model needs to keep a sense of separate identity for every instance of the object, even if several objects look identical or overlap, and then carry out a global computation implicitly during generation. It is still unknown if such representations exist. To address count-correct generation, we first identify features within the diffusion model that can carry the object identity information. We then use them to separate and count instances of objects during the denoising process and detect over-generation and under-generation. We fix the latter by training a model that predicts both the shape and location of a missing object, based on the layout of existing ones, and show how it can be used to guide denoising with correct object count. Our approach, CountGen, does not depend on external source to determine object layout, but rather uses the prior from the diffusion model itself, creating prompt-dependent and seed-dependent layouts. Evaluated on two benchmark datasets, we find that CountGen strongly outperforms the count-accuracy of existing baselines.