DyVo : Vocabulaires Dynamiques pour la Récupération Éparse Apprise avec Entités

DyVo: Dynamic Vocabularies for Learned Sparse Retrieval with Entities

October 10, 2024

Auteurs: Thong Nguyen, Shubham Chatterjee, Sean MacAvaney, Iain Mackie, Jeff Dalton, Andrew Yates

cs.AI

Résumé

Les modèles de Récupération Éparse Apprise (LSR) utilisent des vocabulaires issus de transformateurs pré-entraînés, qui ont souvent tendance à diviser les entités en fragments non significatifs. La division des entités peut réduire la précision de la récupération et limiter la capacité du modèle à intégrer les connaissances du monde actuel qui ne sont pas incluses dans les données d'entraînement. Dans ce travail, nous enrichissons le vocabulaire LSR avec des concepts et des entités de Wikipédia, permettant ainsi au modèle de résoudre les ambiguïtés de manière plus efficace et de rester à jour avec les connaissances évolutives. Au cœur de notre approche se trouve une tête de Vocabulaire Dynamique (DyVo), qui exploite les plongements d'entités existants et un composant de récupération d'entités qui identifie les entités pertinentes pour une requête ou un document. Nous utilisons la tête DyVo pour générer des poids d'entités, qui sont ensuite fusionnés avec les poids des morceaux de mots pour créer des représentations conjointes pour l'indexation et la récupération efficaces à l'aide d'un index inversé. Dans des expériences menées sur trois ensembles de données de classement de documents riches en entités, le modèle DyVo résultant surpasse de manière significative les références de pointe.

English

Learned Sparse Retrieval (LSR) models use vocabularies from pre-trained transformers, which often split entities into nonsensical fragments. Splitting entities can reduce retrieval accuracy and limits the model's ability to incorporate up-to-date world knowledge not included in the training data. In this work, we enhance the LSR vocabulary with Wikipedia concepts and entities, enabling the model to resolve ambiguities more effectively and stay current with evolving knowledge. Central to our approach is a Dynamic Vocabulary (DyVo) head, which leverages existing entity embeddings and an entity retrieval component that identifies entities relevant to a query or document. We use the DyVo head to generate entity weights, which are then merged with word piece weights to create joint representations for efficient indexing and retrieval using an inverted index. In experiments across three entity-rich document ranking datasets, the resulting DyVo model substantially outperforms state-of-the-art baselines.