DyVo: Vocabulários Dinâmicos para Recuperação Esparsa Aprendida com Entidades

DyVo: Dynamic Vocabularies for Learned Sparse Retrieval with Entities

October 10, 2024

Autores: Thong Nguyen, Shubham Chatterjee, Sean MacAvaney, Iain Mackie, Jeff Dalton, Andrew Yates

cs.AI

Resumo

Os modelos de Recuperação Esparsa Aprendida (LSR) utilizam vocabulários de transformers pré-treinados, que frequentemente dividem entidades em fragmentos sem sentido. A divisão de entidades pode reduzir a precisão da recuperação e limitar a capacidade do modelo de incorporar conhecimento mundial atualizado que não está presente nos dados de treinamento. Neste trabalho, aprimoramos o vocabulário do LSR com conceitos e entidades da Wikipedia, permitindo que o modelo resolva ambiguidades de forma mais eficaz e se mantenha atualizado com o conhecimento em evolução. Central para nossa abordagem está uma cabeça de Vocabulário Dinâmico (DyVo), que aproveita os embeddings de entidades existentes e um componente de recuperação de entidades que identifica entidades relevantes para uma consulta ou documento. Utilizamos a cabeça DyVo para gerar pesos de entidades, que são então mesclados com pesos de pedaços de palavras para criar representações conjuntas para indexação e recuperação eficientes usando um índice invertido. Em experimentos em três conjuntos de dados de classificação de documentos ricos em entidades, o modelo resultante DyVo supera substancialmente as baselines de última geração.

English

Learned Sparse Retrieval (LSR) models use vocabularies from pre-trained transformers, which often split entities into nonsensical fragments. Splitting entities can reduce retrieval accuracy and limits the model's ability to incorporate up-to-date world knowledge not included in the training data. In this work, we enhance the LSR vocabulary with Wikipedia concepts and entities, enabling the model to resolve ambiguities more effectively and stay current with evolving knowledge. Central to our approach is a Dynamic Vocabulary (DyVo) head, which leverages existing entity embeddings and an entity retrieval component that identifies entities relevant to a query or document. We use the DyVo head to generate entity weights, which are then merged with word piece weights to create joint representations for efficient indexing and retrieval using an inverted index. In experiments across three entity-rich document ranking datasets, the resulting DyVo model substantially outperforms state-of-the-art baselines.