Follow-Your-Shape: Edição de Imagens Consciente da Forma via Controle de Região Guiado por Trajetória

Follow-Your-Shape: Shape-Aware Image Editing via Trajectory-Guided Region Control

August 11, 2025

Autores: Zeqian Long, Mingzhe Zheng, Kunyu Feng, Xinhua Zhang, Hongyu Liu, Harry Yang, Linfeng Zhang, Qifeng Chen, Yue Ma

cs.AI

Resumo

Embora os modelos recentes de edição de imagens baseados em fluxo demonstrem capacidades de propósito geral em diversas tarefas, eles frequentemente têm dificuldade em se especializar em cenários desafiadores — particularmente aqueles que envolvem transformações de forma em grande escala. Ao realizar tais edições estruturais, esses métodos ou falham em alcançar a mudança de forma desejada ou alteram inadvertidamente regiões não alvo, resultando em uma degradação da qualidade do fundo. Propomos o Follow-Your-Shape, uma estrutura livre de treinamento e de máscaras que suporta a edição precisa e controlável das formas dos objetos, preservando estritamente o conteúdo não alvo. Motivados pela divergência entre as trajetórias de inversão e edição, calculamos um Mapa de Divergência de Trajetória (TDM) comparando as diferenças de velocidade token a token entre os caminhos de inversão e desruído. O TDM permite a localização precisa das regiões editáveis e orienta um mecanismo de Injeção KV Programada que garante uma edição estável e fiel. Para facilitar uma avaliação rigorosa, introduzimos o ReShapeBench, um novo benchmark composto por 120 novas imagens e pares de prompts enriquecidos, especificamente curados para edição consciente da forma. Experimentos demonstram que nosso método alcança uma editabilidade superior e fidelidade visual, especialmente em tarefas que exigem substituição de forma em grande escala.

English

While recent flow-based image editing models demonstrate general-purpose capabilities across diverse tasks, they often struggle to specialize in challenging scenarios -- particularly those involving large-scale shape transformations. When performing such structural edits, these methods either fail to achieve the intended shape change or inadvertently alter non-target regions, resulting in degraded background quality. We propose Follow-Your-Shape, a training-free and mask-free framework that supports precise and controllable editing of object shapes while strictly preserving non-target content. Motivated by the divergence between inversion and editing trajectories, we compute a Trajectory Divergence Map (TDM) by comparing token-wise velocity differences between the inversion and denoising paths. The TDM enables precise localization of editable regions and guides a Scheduled KV Injection mechanism that ensures stable and faithful editing. To facilitate a rigorous evaluation, we introduce ReShapeBench, a new benchmark comprising 120 new images and enriched prompt pairs specifically curated for shape-aware editing. Experiments demonstrate that our method achieves superior editability and visual fidelity, particularly in tasks requiring large-scale shape replacement.