GLIMMER: riecheggiatore di memoria con interazione tardiva generalizzata

Abstract

L'aumento della memoria è un approccio potente per incorporare in modo efficiente informazioni esterne nei modelli linguistici, ma comporta una riduzione delle prestazioni rispetto al recupero di testo. Recenti lavori hanno introdotto LUMEN, un ibrido di memoria-recupero che pre-calcola parzialmente la memoria e aggiorna le rappresentazioni della memoria al volo con un encoder live più piccolo. Proponiamo GLIMMER, che migliora questo approccio attraverso 1) lo sfruttamento dell'accesso gratuito alle potenti rappresentazioni della memoria applicando un riordinatore superficiale sulla memoria per migliorare drasticamente la qualità del recupero a basso costo, e 2) l'integrazione di un addestramento multi-task per apprendere una memoria e un encoder live più generali e di qualità superiore. GLIMMER ottiene significativi miglioramenti nelle prestazioni a velocità più elevate rispetto a LUMEN e FiD sul benchmark KILT di task ad alta intensità di conoscenza.

English

Memory-augmentation is a powerful approach for efficiently incorporating external information into language models, but leads to reduced performance relative to retrieving text. Recent work introduced LUMEN, a memory-retrieval hybrid that partially pre-computes memory and updates memory representations on the fly with a smaller live encoder. We propose GLIMMER, which improves on this approach through 1) exploiting free access to the powerful memory representations by applying a shallow reranker on top of memory to drastically improve retrieval quality at low cost, and 2) incorporating multi-task training to learn a general and higher quality memory and live encoder. GLIMMER achieves strong gains in performance at faster speeds compared to LUMEN and FiD on the KILT benchmark of knowledge-intensive tasks.

GLIMMER: riecheggiatore di memoria con interazione tardiva generalizzata

GLIMMER: generalized late-interaction memory reranker

Abstract

Support