Génération et édition itératives pilotées par un sujet à partir d'une seule image

Single Image Iterative Subject-driven Generation and Editing

March 20, 2025

Auteurs: Yair Shpitzer, Gal Chechik, Idan Schwartz

cs.AI

Résumé

La personnalisation de la génération et de l'édition d'images est particulièrement complexe lorsque nous ne disposons que de quelques images du sujet, voire d'une seule image. Une approche courante pour la personnalisation est l'apprentissage de concepts, qui permet d'intégrer le sujet dans des modèles existants relativement rapidement, mais produit des images dont la qualité tend à se dégrader rapidement lorsque le nombre d'images du sujet est faible. La qualité peut être améliorée en pré-entraînant un encodeur, mais l'entraînement limite la génération à la distribution d'entraînement et est chronophage. Il reste un défi difficile et ouvert de personnaliser la génération et l'édition d'images à partir d'une seule image sans entraînement. Ici, nous présentons SISO, une nouvelle approche sans entraînement basée sur l'optimisation d'un score de similarité avec une image de sujet donnée. Plus précisément, SISO génère itérativement des images et optimise le modèle en fonction de la perte de similarité avec l'image de sujet donnée jusqu'à ce qu'un niveau de similarité satisfaisant soit atteint, permettant une optimisation plug-and-play pour tout générateur d'images. Nous avons évalué SISO dans deux tâches, l'édition d'images et la génération d'images, en utilisant un ensemble de données diversifié de sujets personnels, et démontrons des améliorations significatives par rapport aux méthodes existantes en termes de qualité d'image, fidélité au sujet et préservation de l'arrière-plan.

English

Personalizing image generation and editing is particularly challenging when we only have a few images of the subject, or even a single image. A common approach to personalization is concept learning, which can integrate the subject into existing models relatively quickly, but produces images whose quality tends to deteriorate quickly when the number of subject images is small. Quality can be improved by pre-training an encoder, but training restricts generation to the training distribution, and is time consuming. It is still an open hard challenge to personalize image generation and editing from a single image without training. Here, we present SISO, a novel, training-free approach based on optimizing a similarity score with an input subject image. More specifically, SISO iteratively generates images and optimizes the model based on loss of similarity with the given subject image until a satisfactory level of similarity is achieved, allowing plug-and-play optimization to any image generator. We evaluated SISO in two tasks, image editing and image generation, using a diverse data set of personal subjects, and demonstrate significant improvements over existing methods in image quality, subject fidelity, and background preservation.