Итеративная генерация и редактирование на основе одного изображения с учетом объекта

Single Image Iterative Subject-driven Generation and Editing

March 20, 2025

Авторы: Yair Shpitzer, Gal Chechik, Idan Schwartz

cs.AI

Аннотация

Персонализация генерации и редактирования изображений представляет особую сложность, когда у нас есть лишь несколько изображений объекта или даже одно изображение. Распространённый подход к персонализации — это обучение концепции, которое позволяет относительно быстро интегрировать объект в существующие модели, но качество изображений быстро ухудшается при малом количестве изображений объекта. Качество можно улучшить за счёт предварительного обучения энкодера, однако обучение ограничивает генерацию распределением данных, использованных при обучении, и требует значительных временных затрат. Персонализация генерации и редактирования изображений на основе одного изображения без обучения остаётся сложной и нерешённой задачей. В данной работе мы представляем SISO — новый подход, не требующий обучения, основанный на оптимизации показателя сходства с входным изображением объекта. В частности, SISO итеративно генерирует изображения и оптимизирует модель на основе потери сходства с заданным изображением объекта до достижения удовлетворительного уровня сходства, что позволяет использовать метод для оптимизации любого генератора изображений по принципу "подключи и работай". Мы оценили SISO в двух задачах — редактировании и генерации изображений — на разнообразном наборе данных с персонализированными объектами и продемонстрировали значительное улучшение качества изображений, точности передачи объекта и сохранения фона по сравнению с существующими методами.

English

Personalizing image generation and editing is particularly challenging when we only have a few images of the subject, or even a single image. A common approach to personalization is concept learning, which can integrate the subject into existing models relatively quickly, but produces images whose quality tends to deteriorate quickly when the number of subject images is small. Quality can be improved by pre-training an encoder, but training restricts generation to the training distribution, and is time consuming. It is still an open hard challenge to personalize image generation and editing from a single image without training. Here, we present SISO, a novel, training-free approach based on optimizing a similarity score with an input subject image. More specifically, SISO iteratively generates images and optimizes the model based on loss of similarity with the given subject image until a satisfactory level of similarity is achieved, allowing plug-and-play optimization to any image generator. We evaluated SISO in two tasks, image editing and image generation, using a diverse data set of personal subjects, and demonstrate significant improvements over existing methods in image quality, subject fidelity, and background preservation.