I Retrieval Densi Possono Fallire su Query Semplici: Svelando il Dilemma della Granularità degli Embedding

Dense Retrievers Can Fail on Simple Queries: Revealing The Granularity Dilemma of Embeddings

June 10, 2025

Autori: Liyan Xu, Zhenlin Su, Mo Yu, Jiangnan Li, Fandong Meng, Jie Zhou

cs.AI

Abstract

Questo lavoro si concentra su una limitazione osservata nei codificatori di testo: gli embedding potrebbero non essere in grado di riconoscere entità o eventi di dettaglio all'interno della semantica, portando a fallimenti nel recupero denso anche in casi semplici. Per esaminare tali comportamenti, introduciamo innanzitutto un nuovo dataset di valutazione in cinese, denominato CapRetrieval, i cui passaggi sono didascalie di immagini e le query sono frasi che richiedono entità o eventi in varie forme. La valutazione zero-shot suggerisce che i codificatori potrebbero fallire in questi abbinamenti di dettaglio, indipendentemente dalle fonti di addestramento o dalle dimensioni del modello. Con l'obiettivo di migliorare, procediamo a ottimizzare i codificatori con le nostre strategie proposte di generazione dei dati, ottenendo le migliori prestazioni su CapRetrieval. All'interno di questo processo, identifichiamo ulteriormente un problema di dilemma di granularità, una sfida per gli embedding di esprimere la rilevanza di dettaglio mantenendo l'allineamento con la semantica complessiva. Il nostro dataset, codice e modelli in questo lavoro sono pubblicamente disponibili all'indirizzo https://github.com/lxucs/CapRetrieval.

English

This work focuses on an observed limitation of text encoders: embeddings may not be able to recognize fine-grained entities or events within the semantics, resulting in failed dense retrieval on even simple cases. To examine such behaviors, we first introduce a new evaluation dataset in Chinese, named CapRetrieval, whose passages are image captions, and queries are phrases inquiring entities or events in various forms. Zero-shot evaluation suggests that encoders may fail on these fine-grained matching, regardless of training sources or model sizes. Aiming for enhancement, we proceed to finetune encoders with our proposed data generation strategies, which obtains the best performance on CapRetrieval. Within this process, we further identify an issue of granularity dilemma, a challenge for embeddings to express fine-grained salience while aligning with overall semantics. Our dataset, code and models in this work are publicly released at https://github.com/lxucs/CapRetrieval.