DyVo: Vocabolari Dinamici per il Recupero Sparso Appreso con Entità

DyVo: Dynamic Vocabularies for Learned Sparse Retrieval with Entities

October 10, 2024

Autori: Thong Nguyen, Shubham Chatterjee, Sean MacAvaney, Iain Mackie, Jeff Dalton, Andrew Yates

cs.AI

Abstract

I modelli di Recupero Sparso Appreso (LSR) utilizzano vocabolari da trasformatori pre-addestrati, che spesso suddividono le entità in frammenti senza senso. La suddivisione delle entità può ridurre l'accuratezza del recupero e limitare la capacità del modello di incorporare conoscenze mondiali aggiornate non incluse nei dati di addestramento. In questo lavoro, arricchiamo il vocabolario LSR con concetti ed entità di Wikipedia, consentendo al modello di risolvere ambiguità in modo più efficace e rimanere aggiornato con le conoscenze in evoluzione. Al centro del nostro approccio c'è una testa di Vocabolario Dinamico (DyVo), che sfrutta gli embedding di entità esistenti e un componente di recupero di entità che identifica entità rilevanti per una query o un documento. Utilizziamo la testa DyVo per generare pesi delle entità, che vengono poi uniti ai pesi delle parti di parole per creare rappresentazioni congiunte per un'indicizzazione e un recupero efficienti utilizzando un indice invertito. Negli esperimenti su tre set di dati di classificazione di documenti ricchi di entità, il modello DyVo risultante supera sostanzialmente le baselines all'avanguardia.

English

Learned Sparse Retrieval (LSR) models use vocabularies from pre-trained transformers, which often split entities into nonsensical fragments. Splitting entities can reduce retrieval accuracy and limits the model's ability to incorporate up-to-date world knowledge not included in the training data. In this work, we enhance the LSR vocabulary with Wikipedia concepts and entities, enabling the model to resolve ambiguities more effectively and stay current with evolving knowledge. Central to our approach is a Dynamic Vocabulary (DyVo) head, which leverages existing entity embeddings and an entity retrieval component that identifies entities relevant to a query or document. We use the DyVo head to generate entity weights, which are then merged with word piece weights to create joint representations for efficient indexing and retrieval using an inverted index. In experiments across three entity-rich document ranking datasets, the resulting DyVo model substantially outperforms state-of-the-art baselines.