DyVo: Dynamische Vokabulare für gelerntes Sparse Retrieval mit Entitäten

DyVo: Dynamic Vocabularies for Learned Sparse Retrieval with Entities

October 10, 2024

Autoren: Thong Nguyen, Shubham Chatterjee, Sean MacAvaney, Iain Mackie, Jeff Dalton, Andrew Yates

cs.AI

Zusammenfassung

Gelernte Sparse Retrieval (LSR) Modelle verwenden Vokabulare aus vorab trainierten Transformern, die Entitäten oft in sinnlose Fragmente aufteilen. Das Aufteilen von Entitäten kann die Abrufgenauigkeit verringern und die Fähigkeit des Modells einschränken, aktuelles Weltwissen zu integrieren, das nicht in den Trainingsdaten enthalten ist. In dieser Arbeit erweitern wir den LSR-Wortschatz um Wikipedia-Konzepte und -Entitäten, um dem Modell zu ermöglichen, Mehrdeutigkeiten effektiver aufzulösen und mit dem sich entwickelnden Wissen Schritt zu halten. Zentral für unseren Ansatz ist ein Dynamischer Vokabelkopf (DyVo), der vorhandene Entitäts-Einbettungen und eine Entitätsabrufkomponente nutzt, um Entitäten zu identifizieren, die für eine Abfrage oder ein Dokument relevant sind. Wir verwenden den DyVo-Kopf, um Entitätsgewichte zu generieren, die dann mit Wortstück-Gewichten fusioniert werden, um gemeinsame Repräsentationen für eine effiziente Indizierung und Abfrage mithilfe eines invertierten Index zu erstellen. In Experimenten über drei entitätenreiche Dokumenten-Ranglisten-Datensätze hinweg übertrifft das resultierende DyVo-Modell deutlich die State-of-the-Art-Baselines.

English

Learned Sparse Retrieval (LSR) models use vocabularies from pre-trained transformers, which often split entities into nonsensical fragments. Splitting entities can reduce retrieval accuracy and limits the model's ability to incorporate up-to-date world knowledge not included in the training data. In this work, we enhance the LSR vocabulary with Wikipedia concepts and entities, enabling the model to resolve ambiguities more effectively and stay current with evolving knowledge. Central to our approach is a Dynamic Vocabulary (DyVo) head, which leverages existing entity embeddings and an entity retrieval component that identifies entities relevant to a query or document. We use the DyVo head to generate entity weights, which are then merged with word piece weights to create joint representations for efficient indexing and retrieval using an inverted index. In experiments across three entity-rich document ranking datasets, the resulting DyVo model substantially outperforms state-of-the-art baselines.