Rethinking Composed Image Retrieval Evaluation: Een Fijnmazige Benchmark vanuit Beeldbewerking

Rethinking Composed Image Retrieval Evaluation: A Fine-Grained Benchmark from Image Editing

January 22, 2026

Auteurs: Tingyu Song, Yanzhao Zhang, Mingxin Li, Zhuoning Guo, Dingkun Long, Pengjun Xie, Siyue Zhang, Yilun Zhao, Shu Wu

cs.AI

Samenvatting

Composed Image Retrieval (CIR) is een cruciale en complexe taak binnen multimodaal begrip. Bestaande CIR-referentiepunten kenmerken zich doorgaans door een beperkt aantal querycategorieën en slagen er niet in de uiteenlopende vereisten van realistische scenario's vast te leggen. Om deze evaluatiekloof te overbruggen, maken we gebruik van beeldbewerking om precieze controle te verkrijgen over de soorten aanpassingen en de inhoud, wat een pijplijn mogelijk maakt voor het synthetiseren van queries in een breed spectrum van categorieën. Met behulp van deze pijplijn construeren we EDIR, een nieuw CIR-referentiepunt met een fijne granulariteit. EDIR omvat 5.000 hoogwaardige queries, gestructureerd in vijf hoofdcategorieën en vijftien subcategorieën. Onze uitgebreide evaluatie van 13 multimodale inbeddingsmodellen onthult een significante kloof in capaciteit; zelfs state-of-the-art modellen (zoals RzenEmbed en GME) hebben moeite om consistent te presteren across alle subcategorieën, wat de rigoureuze aard van ons referentiepunt onderstreept. Door middel van vergelijkende analyse leggen we verder inherente beperkingen in bestaande referentiepunten bloot, zoals modale vooroordelen en onvoldoende dekking van categorieën. Bovendien toont een in-domein trainingsexperiment de haalbaarheid van ons referentiepunt aan. Dit experiment verduidelijkt de uitdagingen van de taak door onderscheid te maken tussen categorieën die oplosbaar zijn met gerichte data en categorieën die intrinsieke beperkingen van de huidige modelarchitecturen blootleggen.

English

Composed Image Retrieval (CIR) is a pivotal and complex task in multimodal understanding. Current CIR benchmarks typically feature limited query categories and fail to capture the diverse requirements of real-world scenarios. To bridge this evaluation gap, we leverage image editing to achieve precise control over modification types and content, enabling a pipeline for synthesizing queries across a broad spectrum of categories. Using this pipeline, we construct EDIR, a novel fine-grained CIR benchmark. EDIR encompasses 5,000 high-quality queries structured across five main categories and fifteen subcategories. Our comprehensive evaluation of 13 multimodal embedding models reveals a significant capability gap; even state-of-the-art models (e.g., RzenEmbed and GME) struggle to perform consistently across all subcategories, highlighting the rigorous nature of our benchmark. Through comparative analysis, we further uncover inherent limitations in existing benchmarks, such as modality biases and insufficient categorical coverage. Furthermore, an in-domain training experiment demonstrates the feasibility of our benchmark. This experiment clarifies the task challenges by distinguishing between categories that are solvable with targeted data and those that expose intrinsic limitations of current model architectures.