DyVo: エンティティを用いた学習された疎な検索のための動的語彙

DyVo: Dynamic Vocabularies for Learned Sparse Retrieval with Entities

October 10, 2024

著者: Thong Nguyen, Shubham Chatterjee, Sean MacAvaney, Iain Mackie, Jeff Dalton, Andrew Yates

cs.AI

要旨

学習済みスパース検索（LSR）モデルは、しばしばエンティティを意味のない断片に分割するトランスフォーマーからの語彙を使用します。エンティティの分割は検索精度を低下させ、トレーニングデータに含まれていない最新の世界知識を取り込むモデルの能力を制限します。本研究では、LSR語彙をWikipediaの概念とエンティティで拡張し、曖昧さを効果的に解消し、進化する知識に適応するためのモデルを可能にします。当社のアプローチの中心には、既存のエンティティ埋め込みとクエリやドキュメントに関連するエンティティを特定するエンティティ検索コンポーネントを活用するダイナミック語彙（DyVo）ヘッドがあります。私たちはDyVoヘッドを使用してエンティティの重みを生成し、それらをワードピースの重みとマージして、逆索引を使用した効率的なインデックス作成と検索のための共同表現を作成します。3つのエンティティ豊富な文書ランキングデータセットを対象とした実験では、結果として得られたDyVoモデルが最先端のベースラインを大幅に上回ることが示されました。

English

Learned Sparse Retrieval (LSR) models use vocabularies from pre-trained transformers, which often split entities into nonsensical fragments. Splitting entities can reduce retrieval accuracy and limits the model's ability to incorporate up-to-date world knowledge not included in the training data. In this work, we enhance the LSR vocabulary with Wikipedia concepts and entities, enabling the model to resolve ambiguities more effectively and stay current with evolving knowledge. Central to our approach is a Dynamic Vocabulary (DyVo) head, which leverages existing entity embeddings and an entity retrieval component that identifies entities relevant to a query or document. We use the DyVo head to generate entity weights, which are then merged with word piece weights to create joint representations for efficient indexing and retrieval using an inverted index. In experiments across three entity-rich document ranking datasets, the resulting DyVo model substantially outperforms state-of-the-art baselines.