Recuperadores Densos Podem Falhar em Consultas Simples: Revelando o Dilema da Granularidade dos Embeddings

Dense Retrievers Can Fail on Simple Queries: Revealing The Granularity Dilemma of Embeddings

June 10, 2025

Autores: Liyan Xu, Zhenlin Su, Mo Yu, Jiangnan Li, Fandong Meng, Jie Zhou

cs.AI

Resumo

Este trabalho se concentra em uma limitação observada em codificadores de texto: as incorporações podem não ser capazes de reconhecer entidades ou eventos de granularidade fina dentro da semântica, resultando em falhas na recuperação densa mesmo em casos simples. Para examinar esses comportamentos, primeiro introduzimos um novo conjunto de dados de avaliação em chinês, chamado CapRetrieval, cujas passagens são legendas de imagens, e as consultas são frases que questionam entidades ou eventos em várias formas. A avaliação zero-shot sugere que os codificadores podem falhar nesses emparelhamentos de granularidade fina, independentemente das fontes de treinamento ou dos tamanhos dos modelos. Visando a melhoria, prosseguimos com o ajuste fino dos codificadores com nossas estratégias propostas de geração de dados, que obtêm o melhor desempenho no CapRetrieval. Dentro desse processo, identificamos ainda um problema de dilema de granularidade, um desafio para as incorporações expressarem saliência de granularidade fina enquanto se alinham com a semântica geral. Nosso conjunto de dados, código e modelos neste trabalho são disponibilizados publicamente em https://github.com/lxucs/CapRetrieval.

English

This work focuses on an observed limitation of text encoders: embeddings may not be able to recognize fine-grained entities or events within the semantics, resulting in failed dense retrieval on even simple cases. To examine such behaviors, we first introduce a new evaluation dataset in Chinese, named CapRetrieval, whose passages are image captions, and queries are phrases inquiring entities or events in various forms. Zero-shot evaluation suggests that encoders may fail on these fine-grained matching, regardless of training sources or model sizes. Aiming for enhancement, we proceed to finetune encoders with our proposed data generation strategies, which obtains the best performance on CapRetrieval. Within this process, we further identify an issue of granularity dilemma, a challenge for embeddings to express fine-grained salience while aligning with overall semantics. Our dataset, code and models in this work are publicly released at https://github.com/lxucs/CapRetrieval.