Enkele Afbeelding Iteratieve Onderwerp-gedreven Generatie en Bewerking

Single Image Iterative Subject-driven Generation and Editing

March 20, 2025

Auteurs: Yair Shpitzer, Gal Chechik, Idan Schwartz

cs.AI

Samenvatting

Het personaliseren van beeldgeneratie en -bewerking is bijzonder uitdagend wanneer we slechts een paar afbeeldingen van het onderwerp hebben, of zelfs maar één afbeelding. Een veelgebruikte aanpak voor personalisatie is concept learning, dat het onderwerp relatief snel kan integreren in bestaande modellen, maar beelden produceert waarvan de kwaliteit snel achteruitgaat wanneer het aantal afbeeldingen van het onderwerp klein is. De kwaliteit kan worden verbeterd door een encoder voor te trainen, maar training beperkt de generatie tot de trainingsdistributie en is tijdrovend. Het blijft een moeilijke uitdaging om beeldgeneratie en -bewerking te personaliseren vanuit één enkele afbeelding zonder training. Hier presenteren we SISO, een nieuwe, trainingsvrije aanpak gebaseerd op het optimaliseren van een gelijkenisscore met een invoerafbeelding van het onderwerp. Meer specifiek genereert SISO iteratief afbeeldingen en optimaliseert het model op basis van het verlies aan gelijkenis met de gegeven onderwerpafbeelding totdat een bevredigend niveau van gelijkenis is bereikt, waardoor plug-and-play optimalisatie voor elke beeldgenerator mogelijk wordt. We evalueerden SISO in twee taken, beeldbewerking en beeldgeneratie, met behulp van een diverse dataset van persoonlijke onderwerpen, en laten aanzienlijke verbeteringen zien ten opzichte van bestaande methoden in beeldkwaliteit, onderwerptrouw en achtergrondbehoud.

English

Personalizing image generation and editing is particularly challenging when we only have a few images of the subject, or even a single image. A common approach to personalization is concept learning, which can integrate the subject into existing models relatively quickly, but produces images whose quality tends to deteriorate quickly when the number of subject images is small. Quality can be improved by pre-training an encoder, but training restricts generation to the training distribution, and is time consuming. It is still an open hard challenge to personalize image generation and editing from a single image without training. Here, we present SISO, a novel, training-free approach based on optimizing a similarity score with an input subject image. More specifically, SISO iteratively generates images and optimizes the model based on loss of similarity with the given subject image until a satisfactory level of similarity is achieved, allowing plug-and-play optimization to any image generator. We evaluated SISO in two tasks, image editing and image generation, using a diverse data set of personal subjects, and demonstrate significant improvements over existing methods in image quality, subject fidelity, and background preservation.