Ripensare la Valutazione del Retrieval di Immagini Composte: un Benchmark di Grana Fine dall'Editing di Immagini
Rethinking Composed Image Retrieval Evaluation: A Fine-Grained Benchmark from Image Editing
January 22, 2026
Autori: Tingyu Song, Yanzhao Zhang, Mingxin Li, Zhuoning Guo, Dingkun Long, Pengjun Xie, Siyue Zhang, Yilun Zhao, Shu Wu
cs.AI
Abstract
Il Recupero di Immagini Composte (CIR) è un compito fondamentale e complesso nella comprensione multimodale. I benchmark CIR attuali presentano tipicamente categorie di query limitate e non riescono a cogliere le diverse esigenze degli scenari del mondo reale. Per colmare questa lacuna valutativa, sfruttiamo l'editing di immagini per ottenere un controllo preciso sui tipi di modifica e sui contenuti, abilitando una pipeline per la sintesi di query attraverso un ampio spettro di categorie. Utilizzando questa pipeline, costruiamo EDIR, un nuovo benchmark CIR granulare. EDIR comprende 5.000 query di alta qualità strutturate in cinque categorie principali e quindici sottocategorie. La nostra valutazione completa di 13 modelli di embedding multimodale rivela un significativo divario di capacità; anche i modelli all'avanguardia (ad esempio, RzenEmbed e GME) faticano a performare in modo coerente attraverso tutte le sottocategorie, evidenziando la natura rigorosa del nostro benchmark. Attraverso un'analisi comparativa, scopriamo ulteriormente limitazioni intrinseche nei benchmark esistenti, come bias modali e copertura categoriale insufficiente. Inoltre, un esperimento di training in-domain dimostra la fattibilità del nostro benchmark. Questo esperimento chiarisce le sfide del compito distinguendo tra categorie risolvibili con dati mirati e quelle che espongono limitazioni intrinseche delle architetture modelli attuali.
English
Composed Image Retrieval (CIR) is a pivotal and complex task in multimodal understanding. Current CIR benchmarks typically feature limited query categories and fail to capture the diverse requirements of real-world scenarios. To bridge this evaluation gap, we leverage image editing to achieve precise control over modification types and content, enabling a pipeline for synthesizing queries across a broad spectrum of categories. Using this pipeline, we construct EDIR, a novel fine-grained CIR benchmark. EDIR encompasses 5,000 high-quality queries structured across five main categories and fifteen subcategories. Our comprehensive evaluation of 13 multimodal embedding models reveals a significant capability gap; even state-of-the-art models (e.g., RzenEmbed and GME) struggle to perform consistently across all subcategories, highlighting the rigorous nature of our benchmark. Through comparative analysis, we further uncover inherent limitations in existing benchmarks, such as modality biases and insufficient categorical coverage. Furthermore, an in-domain training experiment demonstrates the feasibility of our benchmark. This experiment clarifies the task challenges by distinguishing between categories that are solvable with targeted data and those that expose intrinsic limitations of current model architectures.