Перенос редактирования: Обучение редактированию изображений через визуальные контекстные отношения

Edit Transfer: Learning Image Editing via Vision In-Context Relations

March 17, 2025

Авторы: Lan Chen, Qi Mao, Yuchao Gu, Mike Zheng Shou

cs.AI

Аннотация

Мы представляем новую задачу, называемую Edit Transfer, в которой модель обучается преобразованию на основе всего одного примера "источник-цель" и применяет его к новому запрашиваемому изображению. В то время как текстовые методы превосходно справляются с семантическими изменениями через текстовые подсказки, они часто испытывают трудности с точными геометрическими деталями (например, изменениями поз и ракурсов). Редактирование на основе референсов, с другой стороны, обычно фокусируется на стиле или внешнем виде и не справляется с нежесткими преобразованиями. Явно обучаясь преобразованию редактирования на паре "источник-цель", Edit Transfer устраняет ограничения как текстовых, так и ориентированных на внешний вид подходов. Вдохновляясь контекстным обучением в больших языковых моделях, мы предлагаем парадигму визуального контекстного обучения, основанную на текстово-изобразительной модели на базе DiT. Мы объединяем редактируемый пример и запрашиваемое изображение в единый четырехпанельный композит, а затем применяем легковесную тонкую настройку LoRA для захвата сложных пространственных преобразований из минимального числа примеров. Несмотря на использование всего 42 обучающих образцов, Edit Transfer значительно превосходит современные методы TIE и RIE в разнообразных сценариях нежестких преобразований, демонстрируя эффективность обучения визуальным отношениям с малым количеством данных.

English

We introduce a new setting, Edit Transfer, where a model learns a transformation from just a single source-target example and applies it to a new query image. While text-based methods excel at semantic manipulations through textual prompts, they often struggle with precise geometric details (e.g., poses and viewpoint changes). Reference-based editing, on the other hand, typically focuses on style or appearance and fails at non-rigid transformations. By explicitly learning the editing transformation from a source-target pair, Edit Transfer mitigates the limitations of both text-only and appearance-centric references. Drawing inspiration from in-context learning in large language models, we propose a visual relation in-context learning paradigm, building upon a DiT-based text-to-image model. We arrange the edited example and the query image into a unified four-panel composite, then apply lightweight LoRA fine-tuning to capture complex spatial transformations from minimal examples. Despite using only 42 training samples, Edit Transfer substantially outperforms state-of-the-art TIE and RIE methods on diverse non-rigid scenarios, demonstrating the effectiveness of few-shot visual relation learning.