Repenser l'évaluation de la recherche d'images composées : un benchmark granulaire issu de l'édition d'images
Rethinking Composed Image Retrieval Evaluation: A Fine-Grained Benchmark from Image Editing
January 22, 2026
papers.authors: Tingyu Song, Yanzhao Zhang, Mingxin Li, Zhuoning Guo, Dingkun Long, Pengjun Xie, Siyue Zhang, Yilun Zhao, Shu Wu
cs.AI
papers.abstract
La recherche d'images composées (CIR) est une tâche cruciale et complexe dans la compréhension multimodale. Les benchmarks CIR actuels présentent généralement des catégories de requêtes limitées et ne parviennent pas à capturer les exigences diverses des scénarios réels. Pour combler cette lacune en matière d'évaluation, nous exploitons l'édition d'images pour obtenir un contrôle précis des types de modifications et du contenu, permettant la création d'un pipeline pour synthétiser des requêtes couvrant un large spectre de catégories. En utilisant ce pipeline, nous construisons EDIR, un nouveau benchmark CIR à granularité fine. EDIR comprend 5 000 requêtes de haute qualité structurées en cinq catégories principales et quinze sous-catégories. Notre évaluation complète de 13 modèles d'incorporation multimodale révèle un écart de capacité significatif ; même les modèles les plus avancés (par exemple, RzenEmbed et GME) peinent à performer de manière cohérente dans toutes les sous-catégories, soulignant la rigueur de notre benchmark. Par une analyse comparative, nous mettons en lumière les limitations inhérentes aux benchmarks existants, telles que les biais de modalité et une couverture catégorielle insuffisante. De plus, une expérience d'entraînement en domaine démontre la faisabilité de notre benchmark. Cette expérience clarifie les défis de la tâche en distinguant les catégories qui peuvent être résolues avec des données ciblées de celles qui révèlent les limitations intrinsèques des architectures de modèles actuelles.
English
Composed Image Retrieval (CIR) is a pivotal and complex task in multimodal understanding. Current CIR benchmarks typically feature limited query categories and fail to capture the diverse requirements of real-world scenarios. To bridge this evaluation gap, we leverage image editing to achieve precise control over modification types and content, enabling a pipeline for synthesizing queries across a broad spectrum of categories. Using this pipeline, we construct EDIR, a novel fine-grained CIR benchmark. EDIR encompasses 5,000 high-quality queries structured across five main categories and fifteen subcategories. Our comprehensive evaluation of 13 multimodal embedding models reveals a significant capability gap; even state-of-the-art models (e.g., RzenEmbed and GME) struggle to perform consistently across all subcategories, highlighting the rigorous nature of our benchmark. Through comparative analysis, we further uncover inherent limitations in existing benchmarks, such as modality biases and insufficient categorical coverage. Furthermore, an in-domain training experiment demonstrates the feasibility of our benchmark. This experiment clarifies the task challenges by distinguishing between categories that are solvable with targeted data and those that expose intrinsic limitations of current model architectures.