Follow-Your-Shape: Редактирование изображений с учетом формы через управление областями на основе траекторий

Follow-Your-Shape: Shape-Aware Image Editing via Trajectory-Guided Region Control

August 11, 2025

Авторы: Zeqian Long, Mingzhe Zheng, Kunyu Feng, Xinhua Zhang, Hongyu Liu, Harry Yang, Linfeng Zhang, Qifeng Chen, Yue Ma

cs.AI

Аннотация

Хотя современные модели редактирования изображений на основе потоков демонстрируют универсальные возможности для решения разнообразных задач, они часто испытывают трудности в специализированных сценариях, особенно в тех, которые связаны с крупномасштабными преобразованиями формы. При выполнении таких структурных изменений эти методы либо не достигают желаемого изменения формы, либо непреднамеренно изменяют нецелевые области, что приводит к ухудшению качества фона. Мы предлагаем Follow-Your-Shape — метод, не требующий обучения и масок, который поддерживает точное и контролируемое редактирование формы объектов, строго сохраняя нецелевое содержимое. Вдохновленные расхождением между траекториями инверсии и редактирования, мы вычисляем Карту Расхождения Траекторий (TDM), сравнивая пошаговые различия в скорости между путями инверсии и шумоподавления. TDM позволяет точно локализовать редактируемые области и направляет механизм Запланированной Инъекции Ключевых Значений (Scheduled KV Injection), который обеспечивает стабильное и точное редактирование. Для проведения строгой оценки мы представляем ReShapeBench — новый бенчмарк, включающий 120 новых изображений и обогащенные парные подсказки, специально разработанные для редактирования с учетом формы. Эксперименты показывают, что наш метод достигает превосходной редактируемости и визуальной точности, особенно в задачах, требующих крупномасштабной замены формы.

English

While recent flow-based image editing models demonstrate general-purpose capabilities across diverse tasks, they often struggle to specialize in challenging scenarios -- particularly those involving large-scale shape transformations. When performing such structural edits, these methods either fail to achieve the intended shape change or inadvertently alter non-target regions, resulting in degraded background quality. We propose Follow-Your-Shape, a training-free and mask-free framework that supports precise and controllable editing of object shapes while strictly preserving non-target content. Motivated by the divergence between inversion and editing trajectories, we compute a Trajectory Divergence Map (TDM) by comparing token-wise velocity differences between the inversion and denoising paths. The TDM enables precise localization of editable regions and guides a Scheduled KV Injection mechanism that ensures stable and faithful editing. To facilitate a rigorous evaluation, we introduce ReShapeBench, a new benchmark comprising 120 new images and enriched prompt pairs specifically curated for shape-aware editing. Experiments demonstrate that our method achieves superior editability and visual fidelity, particularly in tasks requiring large-scale shape replacement.