DyVo: Vocabularios Dinámicos para la Recuperación Escasa Aprendida con Entidades

DyVo: Dynamic Vocabularies for Learned Sparse Retrieval with Entities

October 10, 2024

Autores: Thong Nguyen, Shubham Chatterjee, Sean MacAvaney, Iain Mackie, Jeff Dalton, Andrew Yates

cs.AI

Resumen

Los modelos de Recuperación Esparsa Aprendida (LSR) utilizan vocabularios de transformadores pre-entrenados, los cuales a menudo dividen entidades en fragmentos sin sentido. La división de entidades puede reducir la precisión de recuperación y limitar la capacidad del modelo para incorporar conocimiento del mundo actualizado que no está incluido en los datos de entrenamiento. En este trabajo, mejoramos el vocabulario LSR con conceptos y entidades de Wikipedia, lo que permite al modelo resolver ambigüedades de manera más efectiva y mantenerse al día con el conocimiento en evolución. Central en nuestro enfoque es una cabeza de Vocabulario Dinámico (DyVo), la cual aprovecha los embeddings de entidades existentes y un componente de recuperación de entidades que identifica entidades relevantes para una consulta o documento. Utilizamos la cabeza DyVo para generar pesos de entidades, los cuales luego se fusionan con pesos de piezas de palabras para crear representaciones conjuntas para indexación y recuperación eficientes utilizando un índice invertido. En experimentos en tres conjuntos de datos de clasificación de documentos ricos en entidades, el modelo DyVo resultante supera sustancialmente a los baselines de última generación.

English

Learned Sparse Retrieval (LSR) models use vocabularies from pre-trained transformers, which often split entities into nonsensical fragments. Splitting entities can reduce retrieval accuracy and limits the model's ability to incorporate up-to-date world knowledge not included in the training data. In this work, we enhance the LSR vocabulary with Wikipedia concepts and entities, enabling the model to resolve ambiguities more effectively and stay current with evolving knowledge. Central to our approach is a Dynamic Vocabulary (DyVo) head, which leverages existing entity embeddings and an entity retrieval component that identifies entities relevant to a query or document. We use the DyVo head to generate entity weights, which are then merged with word piece weights to create joint representations for efficient indexing and retrieval using an inverted index. In experiments across three entity-rich document ranking datasets, the resulting DyVo model substantially outperforms state-of-the-art baselines.