Les récupérateurs denses peuvent échouer sur des requêtes simples : révéler le dilemme de granularité des embeddings

Dense Retrievers Can Fail on Simple Queries: Revealing The Granularity Dilemma of Embeddings

June 10, 2025

Auteurs: Liyan Xu, Zhenlin Su, Mo Yu, Jiangnan Li, Fandong Meng, Jie Zhou

cs.AI

Résumé

Ce travail se concentre sur une limitation observée des encodeurs de texte : les embeddings peuvent ne pas être capables de reconnaître des entités ou des événements à granularité fine au sein de la sémantique, entraînant un échec de la recherche dense même dans des cas simples. Pour examiner ces comportements, nous introduisons d'abord un nouveau jeu de données d'évaluation en chinois, nommé CapRetrieval, dont les passages sont des légendes d'images et les requêtes sont des phrases interrogeant des entités ou des événements sous diverses formes. L'évaluation en zero-shot suggère que les encodeurs peuvent échouer sur ces correspondances à granularité fine, indépendamment des sources d'entraînement ou de la taille des modèles. Visant une amélioration, nous procédons ensuite à l'affinement des encodeurs avec nos stratégies proposées de génération de données, ce qui permet d'obtenir les meilleures performances sur CapRetrieval. Au cours de ce processus, nous identifions en outre un problème de dilemme de granularité, un défi pour les embeddings à exprimer une saillance fine tout en s'alignant sur la sémantique globale. Notre jeu de données, code et modèles dans ce travail sont publiquement disponibles à l'adresse https://github.com/lxucs/CapRetrieval.

English

This work focuses on an observed limitation of text encoders: embeddings may not be able to recognize fine-grained entities or events within the semantics, resulting in failed dense retrieval on even simple cases. To examine such behaviors, we first introduce a new evaluation dataset in Chinese, named CapRetrieval, whose passages are image captions, and queries are phrases inquiring entities or events in various forms. Zero-shot evaluation suggests that encoders may fail on these fine-grained matching, regardless of training sources or model sizes. Aiming for enhancement, we proceed to finetune encoders with our proposed data generation strategies, which obtains the best performance on CapRetrieval. Within this process, we further identify an issue of granularity dilemma, a challenge for embeddings to express fine-grained salience while aligning with overall semantics. Our dataset, code and models in this work are publicly released at https://github.com/lxucs/CapRetrieval.