SpotEdit: Valutazione dei Metodi di Modifica delle Immagini Guidati Visivamente

SpotEdit: Evaluating Visually-Guided Image Editing Methods

August 25, 2025

Autori: Sara Ghazanfari, Wei-An Lin, Haitong Tian, Ersin Yumer

cs.AI

Abstract

L'editing di immagini guidato visivamente, in cui le modifiche sono condizionate sia da segnali visivi che da prompt testuali, è emerso come un paradigma potente per la generazione di contenuti granulari e controllabili. Sebbene i recenti modelli generativi abbiano dimostrato capacità notevoli, le valutazioni esistenti rimangono semplici e insufficientemente rappresentative delle sfide di editing del mondo reale. Presentiamo SpotEdit, un benchmark completo progettato per valutare sistematicamente i metodi di editing di immagini guidati visivamente attraverso diversi modelli generativi di diffusione, autoregressivi e ibridi, rivelando sostanziali disparità di prestazioni. Per affrontare una sfida critica ma ancora poco esplorata, il nostro benchmark include un componente dedicato all'allucinazione, evidenziando come i modelli leader, come GPT-4o, spesso allucinino l'esistenza di un segnale visivo ed eseguano erroneamente il compito di editing. Il nostro codice e benchmark sono pubblicamente disponibili all'indirizzo https://github.com/SaraGhazanfari/SpotEdit.

English

Visually-guided image editing, where edits are conditioned on both visual cues and textual prompts, has emerged as a powerful paradigm for fine-grained, controllable content generation. Although recent generative models have shown remarkable capabilities, existing evaluations remain simple and insufficiently representative of real-world editing challenges. We present SpotEdit, a comprehensive benchmark designed to systematically assess visually-guided image editing methods across diverse diffusion, autoregressive, and hybrid generative models, uncovering substantial performance disparities. To address a critical yet underexplored challenge, our benchmark includes a dedicated component on hallucination, highlighting how leading models, such as GPT-4o, often hallucinate the existence of a visual cue and erroneously perform the editing task. Our code and benchmark are publicly released at https://github.com/SaraGhazanfari/SpotEdit.