Los Recuperadores Densos Pueden Fallar en Consultas Simples: Revelando el Dilema de la Granularidad de los Incrustados

Dense Retrievers Can Fail on Simple Queries: Revealing The Granularity Dilemma of Embeddings

June 10, 2025

Autores: Liyan Xu, Zhenlin Su, Mo Yu, Jiangnan Li, Fandong Meng, Jie Zhou

cs.AI

Resumen

Este trabajo se centra en una limitación observada en los codificadores de texto: los embeddings pueden no ser capaces de reconocer entidades o eventos de grano fino dentro de la semántica, lo que resulta en una recuperación densa fallida incluso en casos simples. Para examinar estos comportamientos, primero presentamos un nuevo conjunto de datos de evaluación en chino, denominado CapRetrieval, cuyos pasajes son descripciones de imágenes y las consultas son frases que indagan sobre entidades o eventos en diversas formas. La evaluación en modo zero-shot sugiere que los codificadores pueden fallar en estas coincidencias de grano fino, independientemente de las fuentes de entrenamiento o los tamaños del modelo. Con el objetivo de mejorar, procedemos a ajustar los codificadores con nuestras estrategias propuestas de generación de datos, lo que obtiene el mejor rendimiento en CapRetrieval. Dentro de este proceso, identificamos además un problema de dilema de granularidad, un desafío para que los embeddings expresen la relevancia de grano fino mientras se alinean con la semántica general. Nuestro conjunto de datos, código y modelos en este trabajo se han publicado públicamente en https://github.com/lxucs/CapRetrieval.

English

This work focuses on an observed limitation of text encoders: embeddings may not be able to recognize fine-grained entities or events within the semantics, resulting in failed dense retrieval on even simple cases. To examine such behaviors, we first introduce a new evaluation dataset in Chinese, named CapRetrieval, whose passages are image captions, and queries are phrases inquiring entities or events in various forms. Zero-shot evaluation suggests that encoders may fail on these fine-grained matching, regardless of training sources or model sizes. Aiming for enhancement, we proceed to finetune encoders with our proposed data generation strategies, which obtains the best performance on CapRetrieval. Within this process, we further identify an issue of granularity dilemma, a challenge for embeddings to express fine-grained salience while aligning with overall semantics. Our dataset, code and models in this work are publicly released at https://github.com/lxucs/CapRetrieval.