DyVo: Динамические словари для обученного разреженного поиска сущностей

DyVo: Dynamic Vocabularies for Learned Sparse Retrieval with Entities

October 10, 2024

Авторы: Thong Nguyen, Shubham Chatterjee, Sean MacAvaney, Iain Mackie, Jeff Dalton, Andrew Yates

cs.AI

Аннотация

Модели Learned Sparse Retrieval (LSR) используют словари из предварительно обученных трансформеров, которые часто разбивают сущности на бессмысленные фрагменты. Разделение сущностей может снизить точность поиска и ограничить способность модели включать актуальные знания о мире, которые не были включены в обучающие данные. В данной работе мы улучшаем словарь LSR с помощью концепций и сущностей из Википедии, позволяя модели эффективнее разрешать неоднозначности и быть в курсе с развивающимися знаниями. Центральным элементом нашего подхода является голова Dynamic Vocabulary (DyVo), которая использует существующие векторные представления сущностей и компонент поиска сущностей, идентифицирующий сущности, связанные с запросом или документом. Мы используем голову DyVo для создания весов сущностей, которые затем объединяются с весами слов для создания совместных представлений для эффективного индексирования и поиска с использованием инвертированного индекса. В экспериментах на трех наборах данных по ранжированию документов с богатым содержанием сущностей полученная модель DyVo значительно превосходит современные базовые модели.

English

Learned Sparse Retrieval (LSR) models use vocabularies from pre-trained transformers, which often split entities into nonsensical fragments. Splitting entities can reduce retrieval accuracy and limits the model's ability to incorporate up-to-date world knowledge not included in the training data. In this work, we enhance the LSR vocabulary with Wikipedia concepts and entities, enabling the model to resolve ambiguities more effectively and stay current with evolving knowledge. Central to our approach is a Dynamic Vocabulary (DyVo) head, which leverages existing entity embeddings and an entity retrieval component that identifies entities relevant to a query or document. We use the DyVo head to generate entity weights, which are then merged with word piece weights to create joint representations for efficient indexing and retrieval using an inverted index. In experiments across three entity-rich document ranking datasets, the resulting DyVo model substantially outperforms state-of-the-art baselines.