Geração e Edição Iterativa Orientada por Assunto a partir de uma Única Imagem

Single Image Iterative Subject-driven Generation and Editing

March 20, 2025

Autores: Yair Shpitzer, Gal Chechik, Idan Schwartz

cs.AI

Resumo

A personalização da geração e edição de imagens é particularmente desafiadora quando temos apenas algumas imagens do sujeito, ou mesmo uma única imagem. Uma abordagem comum para personalização é o aprendizado de conceitos, que pode integrar o sujeito em modelos existentes de forma relativamente rápida, mas produz imagens cuja qualidade tende a se deteriorar rapidamente quando o número de imagens do sujeito é pequeno. A qualidade pode ser melhorada pré-treinando um codificador, mas o treinamento restringe a geração à distribuição de treinamento e é demorado. Ainda é um desafio difícil e em aberto personalizar a geração e edição de imagens a partir de uma única imagem sem treinamento. Aqui, apresentamos o SISO, uma nova abordagem sem treinamento baseada na otimização de uma pontuação de similaridade com uma imagem de sujeito de entrada. Mais especificamente, o SISO gera imagens iterativamente e otimiza o modelo com base na perda de similaridade com a imagem do sujeito dada até que um nível satisfatório de similaridade seja alcançado, permitindo a otimização plug-and-play em qualquer gerador de imagens. Avaliamos o SISO em duas tarefas, edição de imagens e geração de imagens, utilizando um conjunto de dados diversificado de sujeitos pessoais, e demonstramos melhorias significativas em relação aos métodos existentes em qualidade de imagem, fidelidade ao sujeito e preservação do fundo.

English

Personalizing image generation and editing is particularly challenging when we only have a few images of the subject, or even a single image. A common approach to personalization is concept learning, which can integrate the subject into existing models relatively quickly, but produces images whose quality tends to deteriorate quickly when the number of subject images is small. Quality can be improved by pre-training an encoder, but training restricts generation to the training distribution, and is time consuming. It is still an open hard challenge to personalize image generation and editing from a single image without training. Here, we present SISO, a novel, training-free approach based on optimizing a similarity score with an input subject image. More specifically, SISO iteratively generates images and optimizes the model based on loss of similarity with the given subject image until a satisfactory level of similarity is achieved, allowing plug-and-play optimization to any image generator. We evaluated SISO in two tasks, image editing and image generation, using a diverse data set of personal subjects, and demonstrate significant improvements over existing methods in image quality, subject fidelity, and background preservation.