GLIMMER: rerranqueador de memória de interação tardia generalizada

GLIMMER: generalized late-interaction memory reranker

June 17, 2023

Autores: Michiel de Jong, Yury Zemlyanskiy, Nicholas FitzGerald, Sumit Sanghai, William W. Cohen, Joshua Ainslie

cs.AI

Resumo

Aumento de memória é uma abordagem poderosa para incorporar eficientemente informações externas em modelos de linguagem, mas resulta em desempenho reduzido em comparação com a recuperação de texto. Trabalhos recentes introduziram o LUMEN, um híbrido de memória e recuperação que pré-computa parcialmente a memória e atualiza as representações de memória em tempo real com um codificador menor e dinâmico. Propomos o GLIMMER, que aprimora essa abordagem através de 1) explorar o acesso livre às poderosas representações de memória aplicando um reranker superficial sobre a memória para melhorar drasticamente a qualidade da recuperação a um custo baixo, e 2) incorporar treinamento multitarefa para aprender uma memória e um codificador dinâmico mais gerais e de maior qualidade. O GLIMMER alcança ganhos significativos de desempenho em velocidades mais rápidas em comparação com o LUMEN e o FiD no benchmark KILT de tarefas intensivas em conhecimento.

English

Memory-augmentation is a powerful approach for efficiently incorporating external information into language models, but leads to reduced performance relative to retrieving text. Recent work introduced LUMEN, a memory-retrieval hybrid that partially pre-computes memory and updates memory representations on the fly with a smaller live encoder. We propose GLIMMER, which improves on this approach through 1) exploiting free access to the powerful memory representations by applying a shallow reranker on top of memory to drastically improve retrieval quality at low cost, and 2) incorporating multi-task training to learn a general and higher quality memory and live encoder. GLIMMER achieves strong gains in performance at faster speeds compared to LUMEN and FiD on the KILT benchmark of knowledge-intensive tasks.