Follow-Your-Shape: Formbewusstes Bildbearbeiten durch trajektoriengeleitete Bereichssteuerung

Follow-Your-Shape: Shape-Aware Image Editing via Trajectory-Guided Region Control

August 11, 2025

papers.authors: Zeqian Long, Mingzhe Zheng, Kunyu Feng, Xinhua Zhang, Hongyu Liu, Harry Yang, Linfeng Zhang, Qifeng Chen, Yue Ma

cs.AI

papers.abstract

Während aktuelle flow-basierte Bildbearbeitungsmodelle allgemeine Fähigkeiten über diverse Aufgaben hinweg demonstrieren, haben sie oft Schwierigkeiten, sich auf anspruchsvolle Szenarien zu spezialisieren – insbesondere solche, die großflächige Formtransformationen beinhalten. Bei der Durchführung solcher strukturellen Bearbeitungen erreichen diese Methoden entweder nicht die beabsichtigte Formänderung oder verändern unbeabsichtigte Bereiche, was zu einer Verschlechterung der Hintergrundqualität führt. Wir schlagen Follow-Your-Shape vor, ein trainingsfreies und maskenfreies Framework, das eine präzise und kontrollierbare Bearbeitung von Objektformen unterstützt, während nicht betroffene Inhalte strikt erhalten bleiben. Motiviert durch die Divergenz zwischen Inversions- und Bearbeitungspfaden berechnen wir eine Trajectory Divergence Map (TDM), indem wir tokenweise Geschwindigkeitsunterschiede zwischen den Inversions- und Denoising-Pfaden vergleichen. Die TDM ermöglicht eine präzise Lokalisierung der bearbeitbaren Regionen und steuert einen Scheduled KV Injection-Mechanismus, der eine stabile und treue Bearbeitung gewährleistet. Um eine rigorose Bewertung zu ermöglichen, führen wir ReShapeBench ein, einen neuen Benchmark, der 120 neue Bilder und angereicherte Prompt-Paare umfasst, die speziell für formbewusste Bearbeitungen kuratiert wurden. Experimente zeigen, dass unsere Methode eine überlegene Bearbeitbarkeit und visuelle Treue erreicht, insbesondere bei Aufgaben, die großflächige Formersetzungen erfordern.

English

While recent flow-based image editing models demonstrate general-purpose capabilities across diverse tasks, they often struggle to specialize in challenging scenarios -- particularly those involving large-scale shape transformations. When performing such structural edits, these methods either fail to achieve the intended shape change or inadvertently alter non-target regions, resulting in degraded background quality. We propose Follow-Your-Shape, a training-free and mask-free framework that supports precise and controllable editing of object shapes while strictly preserving non-target content. Motivated by the divergence between inversion and editing trajectories, we compute a Trajectory Divergence Map (TDM) by comparing token-wise velocity differences between the inversion and denoising paths. The TDM enables precise localization of editable regions and guides a Scheduled KV Injection mechanism that ensures stable and faithful editing. To facilitate a rigorous evaluation, we introduce ReShapeBench, a new benchmark comprising 120 new images and enriched prompt pairs specifically curated for shape-aware editing. Experiments demonstrate that our method achieves superior editability and visual fidelity, particularly in tasks requiring large-scale shape replacement.