Follow-Your-Shape: Edición de Imágenes Consciente de la Forma mediante Control de Región Guiado por Trayectoria

Follow-Your-Shape: Shape-Aware Image Editing via Trajectory-Guided Region Control

August 11, 2025

Autores: Zeqian Long, Mingzhe Zheng, Kunyu Feng, Xinhua Zhang, Hongyu Liu, Harry Yang, Linfeng Zhang, Qifeng Chen, Yue Ma

cs.AI

Resumen

Si bien los modelos recientes de edición de imágenes basados en flujos demuestran capacidades de propósito general en diversas tareas, a menudo tienen dificultades para especializarse en escenarios desafiantes, particularmente aquellos que involucran transformaciones de forma a gran escala. Al realizar tales ediciones estructurales, estos métodos o bien no logran el cambio de forma deseado o alteran involuntariamente regiones no objetivo, lo que resulta en una degradación de la calidad del fondo. Proponemos Follow-Your-Shape, un marco sin entrenamiento y sin máscaras que permite una edición precisa y controlable de las formas de los objetos mientras preserva estrictamente el contenido no objetivo. Motivados por la divergencia entre las trayectorias de inversión y edición, calculamos un Mapa de Divergencia de Trayectoria (TDM) comparando las diferencias de velocidad a nivel de tokens entre las rutas de inversión y desruido. El TDM permite la localización precisa de las regiones editables y guía un mecanismo de Inyección Programada de KV que asegura una edición estable y fiel. Para facilitar una evaluación rigurosa, introducimos ReShapeBench, un nuevo benchmark que comprende 120 imágenes nuevas y pares de prompts enriquecidos específicamente curados para la edición consciente de la forma. Los experimentos demuestran que nuestro método logra una editabilidad y fidelidad visual superiores, particularmente en tareas que requieren reemplazos de forma a gran escala.

English

While recent flow-based image editing models demonstrate general-purpose capabilities across diverse tasks, they often struggle to specialize in challenging scenarios -- particularly those involving large-scale shape transformations. When performing such structural edits, these methods either fail to achieve the intended shape change or inadvertently alter non-target regions, resulting in degraded background quality. We propose Follow-Your-Shape, a training-free and mask-free framework that supports precise and controllable editing of object shapes while strictly preserving non-target content. Motivated by the divergence between inversion and editing trajectories, we compute a Trajectory Divergence Map (TDM) by comparing token-wise velocity differences between the inversion and denoising paths. The TDM enables precise localization of editable regions and guides a Scheduled KV Injection mechanism that ensures stable and faithful editing. To facilitate a rigorous evaluation, we introduce ReShapeBench, a new benchmark comprising 120 new images and enriched prompt pairs specifically curated for shape-aware editing. Experiments demonstrate that our method achieves superior editability and visual fidelity, particularly in tasks requiring large-scale shape replacement.