Follow-Your-Shape: Vormbewust beeldbewerken via traject-gestuurde regio-controle

Follow-Your-Shape: Shape-Aware Image Editing via Trajectory-Guided Region Control

August 11, 2025

Auteurs: Zeqian Long, Mingzhe Zheng, Kunyu Feng, Xinhua Zhang, Hongyu Liu, Harry Yang, Linfeng Zhang, Qifeng Chen, Yue Ma

cs.AI

Samenvatting

Hoewel recente flow-based beeldbewerkingsmodellen algemene mogelijkheden tonen voor diverse taken, hebben ze vaak moeite om zich te specialiseren in uitdagende scenario's – met name die waarbij grootschalige vormtransformaties betrokken zijn. Bij het uitvoeren van dergelijke structurele bewerkingen slagen deze methoden er vaak niet in de beoogde vormverandering te bereiken of veranderen ze onbedoeld niet-doelgebieden, wat resulteert in een verminderde achtergrondkwaliteit. Wij stellen Follow-Your-Shape voor, een trainingsvrij en maskervrij raamwerk dat precieze en controleerbare bewerking van objectvormen ondersteunt terwijl niet-doelinhoud strikt behouden blijft. Gemotiveerd door de divergentie tussen inversie- en bewerkingstrajecten, berekenen we een Trajectory Divergence Map (TDM) door token-wise snelheidsverschillen tussen de inversie- en denoisepaden te vergelijken. De TDM maakt een precieze lokalisatie van bewerkbare regio's mogelijk en leidt een Scheduled KV Injection-mechanisme aan dat stabiele en betrouwbare bewerking garandeert. Om een rigoureuze evaluatie mogelijk te maken, introduceren we ReShapeBench, een nieuwe benchmark bestaande uit 120 nieuwe afbeeldingen en verrijkte promptparen die specifiek zijn samengesteld voor vormbewuste bewerking. Experimenten tonen aan dat onze methode superieure bewerkbaarheid en visuele kwaliteit bereikt, vooral bij taken die grootschalige vormvervanging vereisen.

English

While recent flow-based image editing models demonstrate general-purpose capabilities across diverse tasks, they often struggle to specialize in challenging scenarios -- particularly those involving large-scale shape transformations. When performing such structural edits, these methods either fail to achieve the intended shape change or inadvertently alter non-target regions, resulting in degraded background quality. We propose Follow-Your-Shape, a training-free and mask-free framework that supports precise and controllable editing of object shapes while strictly preserving non-target content. Motivated by the divergence between inversion and editing trajectories, we compute a Trajectory Divergence Map (TDM) by comparing token-wise velocity differences between the inversion and denoising paths. The TDM enables precise localization of editable regions and guides a Scheduled KV Injection mechanism that ensures stable and faithful editing. To facilitate a rigorous evaluation, we introduce ReShapeBench, a new benchmark comprising 120 new images and enriched prompt pairs specifically curated for shape-aware editing. Experiments demonstrate that our method achieves superior editability and visual fidelity, particularly in tasks requiring large-scale shape replacement.