Adicione: Inserção de Objetos em Imagens sem Treinamento com Modelos de Difusão Pré-treinados

Add-it: Training-Free Object Insertion in Images With Pretrained Diffusion Models

November 11, 2024

Autores: Yoad Tewel, Rinon Gal, Dvir Samuel Yuval Atzmon, Lior Wolf, Gal Chechik

cs.AI

Resumo

Adicionar objetos em imagens com base em instruções de texto é uma tarefa desafiadora na edição semântica de imagens, exigindo um equilíbrio entre preservar a cena original e integrar o novo objeto de forma harmoniosa em um local apropriado. Apesar dos esforços extensivos, os modelos existentes frequentemente enfrentam dificuldades nesse equilíbrio, especialmente ao encontrar um local natural para adicionar um objeto em cenas complexas. Apresentamos o Add-it, uma abordagem sem treinamento que estende os mecanismos de atenção dos modelos de difusão para incorporar informações de três fontes-chave: a imagem da cena, a instrução de texto e a própria imagem gerada. Nosso mecanismo de atenção estendida ponderado mantém a consistência estrutural e os detalhes finos, garantindo ao mesmo tempo uma colocação natural do objeto. Sem ajustes finos específicos da tarefa, o Add-it alcança resultados de ponta em benchmarks de inserção de imagem reais e geradas, incluindo nosso novo "Benchmarks de Adição de Recursos" para avaliar a plausibilidade da colocação do objeto, superando métodos supervisionados. Avaliações humanas mostram que o Add-it é preferido em mais de 80% dos casos, e também demonstra melhorias em várias métricas automatizadas.

English

Adding Object into images based on text instructions is a challenging task in semantic image editing, requiring a balance between preserving the original scene and seamlessly integrating the new object in a fitting location. Despite extensive efforts, existing models often struggle with this balance, particularly with finding a natural location for adding an object in complex scenes. We introduce Add-it, a training-free approach that extends diffusion models' attention mechanisms to incorporate information from three key sources: the scene image, the text prompt, and the generated image itself. Our weighted extended-attention mechanism maintains structural consistency and fine details while ensuring natural object placement. Without task-specific fine-tuning, Add-it achieves state-of-the-art results on both real and generated image insertion benchmarks, including our newly constructed "Additing Affordance Benchmark" for evaluating object placement plausibility, outperforming supervised methods. Human evaluations show that Add-it is preferred in over 80% of cases, and it also demonstrates improvements in various automated metrics.