LOCATEdit: Graf Laplaciaan Geoptimaliseerde Kruisattentie voor Gelokaliseerde Tekstgeleide Bewerking van Afbeeldingen

LOCATEdit: Graph Laplacian Optimized Cross Attention for Localized Text-Guided Image Editing

March 27, 2025

Auteurs: Achint Soni, Meet Soni, Sirisha Rambhatla

cs.AI

Samenvatting

Tekstgestuurd beeldbewerking heeft als doel specifieke delen van een afbeelding aan te passen volgens natuurlijke taal instructies, terwijl de algemene structuur en achtergrondgetrouwheid behouden blijven. Bestaande methoden maken gebruik van maskers die zijn afgeleid van kruis-attentiemappen gegenereerd door diffusiemodellen om de doelgebieden voor aanpassing te identificeren. Echter, aangezien kruis-attentiemechanismen zich richten op semantische relevantie, hebben ze moeite om de integriteit van de afbeelding te behouden. Als gevolg hiervan ontbreekt het deze methoden vaak aan ruimtelijke consistentie, wat leidt tot bewerkingsartefacten en vervormingen. In dit werk pakken we deze beperkingen aan en introduceren we LOCATEdit, dat kruis-attentiemappen verbetert via een grafiekgebaseerde aanpak die gebruikmaakt van zelf-attentie-afgeleide patchrelaties om vloeiende, samenhangende aandacht over beeldregio's te behouden, waardoor aanpassingen beperkt blijven tot de aangewezen items terwijl de omringende structuur behouden blijft. \method presteert consistent en aanzienlijk beter dan bestaande baseline-methoden op PIE-Bench, wat zijn state-of-the-art prestaties en effectiviteit op diverse bewerkingstaken aantoont. Code is te vinden op https://github.com/LOCATEdit/LOCATEdit/

English

Text-guided image editing aims to modify specific regions of an image according to natural language instructions while maintaining the general structure and the background fidelity. Existing methods utilize masks derived from cross-attention maps generated from diffusion models to identify the target regions for modification. However, since cross-attention mechanisms focus on semantic relevance, they struggle to maintain the image integrity. As a result, these methods often lack spatial consistency, leading to editing artifacts and distortions. In this work, we address these limitations and introduce LOCATEdit, which enhances cross-attention maps through a graph-based approach utilizing self-attention-derived patch relationships to maintain smooth, coherent attention across image regions, ensuring that alterations are limited to the designated items while retaining the surrounding structure. \method consistently and substantially outperforms existing baselines on PIE-Bench, demonstrating its state-of-the-art performance and effectiveness on various editing tasks. Code can be found on https://github.com/LOCATEdit/LOCATEdit/