Repensando a Avaliação de Recuperação de Imagens Compostas: Um Benchmark de Granulação Fina a partir da Edição de Imagens
Rethinking Composed Image Retrieval Evaluation: A Fine-Grained Benchmark from Image Editing
January 22, 2026
Autores: Tingyu Song, Yanzhao Zhang, Mingxin Li, Zhuoning Guo, Dingkun Long, Pengjun Xie, Siyue Zhang, Yilun Zhao, Shu Wu
cs.AI
Resumo
A Recuperação de Imagens Compostas (CIR) é uma tarefa fundamental e complexa na compreensão multimodal. Os benchmarks atuais de CIR geralmente apresentam categorias de consulta limitadas e não conseguem capturar os diversos requisitos de cenários do mundo real. Para preencher esta lacuna de avaliação, utilizamos a edição de imagens para obter um controlo preciso sobre os tipos e conteúdo das modificações, permitindo um *pipeline* para sintetizar consultas numa ampla gama de categorias. Usando este *pipeline*, construímos o EDIR, um novo *benchmark* de CIR de granularidade fina. O EDIR abrange 5.000 consultas de alta qualidade estruturadas em cinco categorias principais e quinze subcategorias. A nossa avaliação abrangente de 13 modelos de incorporação multimodal revela uma lacuna significativa de capacidade; mesmo os modelos mais avançados (por exemplo, RzenEmbed e GME) lutam para ter um desempenho consistente em todas as subcategorias, destacando a natureza rigorosa do nosso *benchmark*. Através de uma análise comparativa, descobrimos ainda limitações inerentes nos *benchmarks* existentes, como vieses de modalidade e cobertura categorial insuficiente. Além disso, uma experiência de treino no domínio demonstra a viabilidade do nosso *benchmark*. Esta experiência esclarece os desafios da tarefa, distinguindo entre categorias que são solucionáveis com dados direcionados e aquelas que expõem limitações intrínsecas das arquiteturas de modelos atuais.
English
Composed Image Retrieval (CIR) is a pivotal and complex task in multimodal understanding. Current CIR benchmarks typically feature limited query categories and fail to capture the diverse requirements of real-world scenarios. To bridge this evaluation gap, we leverage image editing to achieve precise control over modification types and content, enabling a pipeline for synthesizing queries across a broad spectrum of categories. Using this pipeline, we construct EDIR, a novel fine-grained CIR benchmark. EDIR encompasses 5,000 high-quality queries structured across five main categories and fifteen subcategories. Our comprehensive evaluation of 13 multimodal embedding models reveals a significant capability gap; even state-of-the-art models (e.g., RzenEmbed and GME) struggle to perform consistently across all subcategories, highlighting the rigorous nature of our benchmark. Through comparative analysis, we further uncover inherent limitations in existing benchmarks, such as modality biases and insufficient categorical coverage. Furthermore, an in-domain training experiment demonstrates the feasibility of our benchmark. This experiment clarifies the task challenges by distinguishing between categories that are solvable with targeted data and those that expose intrinsic limitations of current model architectures.