GLIMMER: универсальный ранжирующий механизм с памятью для позднего взаимодействия

GLIMMER: generalized late-interaction memory reranker

June 17, 2023

Авторы: Michiel de Jong, Yury Zemlyanskiy, Nicholas FitzGerald, Sumit Sanghai, William W. Cohen, Joshua Ainslie

cs.AI

Аннотация

Увеличение памяти — это мощный подход для эффективного включения внешней информации в языковые модели, однако он приводит к снижению производительности по сравнению с извлечением текста. В недавних исследованиях был представлен LUMEN — гибридный метод, сочетающий память и извлечение, который частично предварительно вычисляет память и обновляет её представления на лету с помощью более компактного активного кодировщика. Мы предлагаем GLIMMER, который улучшает этот подход за счёт: 1) использования свободного доступа к мощным представлениям памяти путём применения поверх памяти неглубокого ранжировщика, что значительно повышает качество извлечения при низких затратах, и 2) включения многозадачного обучения для создания более универсальных и качественных представлений памяти и активного кодировщика. GLIMMER демонстрирует значительное улучшение производительности при более высокой скорости по сравнению с LUMEN и FiD на бенчмарке KILT для задач, требующих интенсивного использования знаний.

English

Memory-augmentation is a powerful approach for efficiently incorporating external information into language models, but leads to reduced performance relative to retrieving text. Recent work introduced LUMEN, a memory-retrieval hybrid that partially pre-computes memory and updates memory representations on the fly with a smaller live encoder. We propose GLIMMER, which improves on this approach through 1) exploiting free access to the powerful memory representations by applying a shallow reranker on top of memory to drastically improve retrieval quality at low cost, and 2) incorporating multi-task training to learn a general and higher quality memory and live encoder. GLIMMER achieves strong gains in performance at faster speeds compared to LUMEN and FiD on the KILT benchmark of knowledge-intensive tasks.