밀집 검색기는 간단한 질문에서 실패할 수 있다: 임베딩의 세분성 딜레마 해명

초록

본 연구는 텍스트 인코더의 한계점에 주목합니다: 임베딩이 의미론 내에서 세밀한 개체나 사건을 인식하지 못해, 단순한 경우에도 밀집 검색(dense retrieval)이 실패할 수 있다는 점입니다. 이러한 현상을 조사하기 위해, 우리는 먼저 중국어로 된 새로운 평가 데이터셋인 CapRetrieval을 소개합니다. 이 데이터셋의 문단은 이미지 캡션이며, 쿼리는 다양한 형태로 개체나 사건을 질의하는 구문들로 구성됩니다. 제로샷(zero-shot) 평가 결과, 인코더는 학습 데이터 소스나 모델 크기와 관계없이 이러한 세밀한 매칭에서 실패할 수 있음이 나타났습니다. 이를 개선하기 위해, 우리는 제안된 데이터 생성 전략을 통해 인코더를 미세 조정(finetune)하였고, 이는 CapRetrieval에서 최고의 성능을 달성했습니다. 이 과정에서 우리는 세밀성 딜레마(granularity dilemma)라는 문제를 추가로 발견했습니다. 이는 임베딩이 전체 의미론과 일치하면서도 세밀한 중요성을 표현해야 하는 과제입니다. 본 연구의 데이터셋, 코드 및 모델은 https://github.com/lxucs/CapRetrieval에서 공개되었습니다.

English

This work focuses on an observed limitation of text encoders: embeddings may not be able to recognize fine-grained entities or events within the semantics, resulting in failed dense retrieval on even simple cases. To examine such behaviors, we first introduce a new evaluation dataset in Chinese, named CapRetrieval, whose passages are image captions, and queries are phrases inquiring entities or events in various forms. Zero-shot evaluation suggests that encoders may fail on these fine-grained matching, regardless of training sources or model sizes. Aiming for enhancement, we proceed to finetune encoders with our proposed data generation strategies, which obtains the best performance on CapRetrieval. Within this process, we further identify an issue of granularity dilemma, a challenge for embeddings to express fine-grained salience while aligning with overall semantics. Our dataset, code and models in this work are publicly released at https://github.com/lxucs/CapRetrieval.

밀집 검색기는 간단한 질문에서 실패할 수 있다: 임베딩의 세분성 딜레마 해명

Dense Retrievers Can Fail on Simple Queries: Revealing The Granularity Dilemma of Embeddings

초록

Support