Follow-Your-Shape : Édition d'images consciente de la forme via un contrôle de région guidé par trajectoire

Follow-Your-Shape: Shape-Aware Image Editing via Trajectory-Guided Region Control

August 11, 2025

papers.authors: Zeqian Long, Mingzhe Zheng, Kunyu Feng, Xinhua Zhang, Hongyu Liu, Harry Yang, Linfeng Zhang, Qifeng Chen, Yue Ma

cs.AI

papers.abstract

Bien que les modèles récents d'édition d'images basés sur les flux démontrent des capacités polyvalentes sur diverses tâches, ils peinent souvent à se spécialiser dans des scénarios complexes — en particulier ceux impliquant des transformations de forme à grande échelle. Lors de telles modifications structurelles, ces méthodes échouent soit à réaliser le changement de forme souhaité, soit altèrent involontairement des régions non ciblées, ce qui dégrade la qualité de l'arrière-plan. Nous proposons Follow-Your-Shape, un cadre sans apprentissage et sans masque qui permet une édition précise et contrôlable des formes d'objets tout en préservant strictement le contenu non ciblé. Motivés par la divergence entre les trajectoires d'inversion et d'édition, nous calculons une Carte de Divergence de Trajectoire (TDM) en comparant les différences de vitesse par token entre les chemins d'inversion et de débruitage. La TDM permet une localisation précise des régions éditables et guide un mécanisme d'Injection KV Planifiée qui assure une édition stable et fidèle. Pour faciliter une évaluation rigoureuse, nous introduisons ReShapeBench, un nouveau benchmark comprenant 120 nouvelles images et des paires de prompts enrichies spécialement conçues pour l'édition consciente de la forme. Les expériences démontrent que notre méthode atteint une éditabilité et une fidélité visuelle supérieures, en particulier dans les tâches nécessitant un remplacement de forme à grande échelle.

English

While recent flow-based image editing models demonstrate general-purpose capabilities across diverse tasks, they often struggle to specialize in challenging scenarios -- particularly those involving large-scale shape transformations. When performing such structural edits, these methods either fail to achieve the intended shape change or inadvertently alter non-target regions, resulting in degraded background quality. We propose Follow-Your-Shape, a training-free and mask-free framework that supports precise and controllable editing of object shapes while strictly preserving non-target content. Motivated by the divergence between inversion and editing trajectories, we compute a Trajectory Divergence Map (TDM) by comparing token-wise velocity differences between the inversion and denoising paths. The TDM enables precise localization of editable regions and guides a Scheduled KV Injection mechanism that ensures stable and faithful editing. To facilitate a rigorous evaluation, we introduce ReShapeBench, a new benchmark comprising 120 new images and enriched prompt pairs specifically curated for shape-aware editing. Experiments demonstrate that our method achieves superior editability and visual fidelity, particularly in tasks requiring large-scale shape replacement.