Плотные ретриверы могут не справляться с простыми запросами: раскрытие проблемы гранулярности эмбеддингов

Dense Retrievers Can Fail on Simple Queries: Revealing The Granularity Dilemma of Embeddings

June 10, 2025

Авторы: Liyan Xu, Zhenlin Su, Mo Yu, Jiangnan Li, Fandong Meng, Jie Zhou

cs.AI

Аннотация

Данная работа посвящена наблюдаемому ограничению текстовых энкодеров: встраивания (эмбеддинги) могут не распознавать тонкие сущности или события в рамках семантики, что приводит к неудачному плотному поиску даже в простых случаях. Для изучения такого поведения мы сначала представляем новый оценочный набор данных на китайском языке под названием CapRetrieval, где тексты представляют собой подписи к изображениям, а запросы — фразы, запрашивающие сущности или события в различных формах. Оценка в режиме zero-shot показывает, что энкодеры могут не справляться с такими тонкими сопоставлениями, независимо от источников обучения или размеров модели. Стремясь к улучшению, мы проводим тонкую настройку энкодеров с использованием предложенных нами стратегий генерации данных, что позволяет достичь наилучшей производительности на CapRetrieval. В рамках этого процесса мы также выявляем проблему дилеммы гранулярности — сложность для эмбеддингов выражать тонкую значимость, сохраняя при этом соответствие общей семантике. Наш набор данных, код и модели в этой работе публично доступны по адресу https://github.com/lxucs/CapRetrieval.

English

This work focuses on an observed limitation of text encoders: embeddings may not be able to recognize fine-grained entities or events within the semantics, resulting in failed dense retrieval on even simple cases. To examine such behaviors, we first introduce a new evaluation dataset in Chinese, named CapRetrieval, whose passages are image captions, and queries are phrases inquiring entities or events in various forms. Zero-shot evaluation suggests that encoders may fail on these fine-grained matching, regardless of training sources or model sizes. Aiming for enhancement, we proceed to finetune encoders with our proposed data generation strategies, which obtains the best performance on CapRetrieval. Within this process, we further identify an issue of granularity dilemma, a challenge for embeddings to express fine-grained salience while aligning with overall semantics. Our dataset, code and models in this work are publicly released at https://github.com/lxucs/CapRetrieval.