GLIMMER: gegeneraliseerde late-interactie geheugenherrangschikker

GLIMMER: generalized late-interaction memory reranker

June 17, 2023

Auteurs: Michiel de Jong, Yury Zemlyanskiy, Nicholas FitzGerald, Sumit Sanghai, William W. Cohen, Joshua Ainslie

cs.AI

Samenvatting

Geheugen-augmentatie is een krachtige aanpak om externe informatie efficiënt in taalmodelen te integreren, maar leidt tot verminderde prestaties in vergelijking met het ophalen van tekst. Recent onderzoek introduceerde LUMEN, een hybride geheugen-retrievalmethode die geheugen gedeeltelijk vooraf berekent en geheugenrepresentaties dynamisch bijwerkt met een kleinere live-encoder. Wij stellen GLIMMER voor, dat deze aanpak verbetert door 1) gebruik te maken van vrije toegang tot de krachtige geheugenrepresentaties door een ondiepe herrangschikker bovenop het geheugen toe te passen, waardoor de retrievalkwaliteit aanzienlijk wordt verbeterd tegen lage kosten, en 2) multi-task training te integreren om een algemene en hogere kwaliteit van geheugen en live-encoder te leren. GLIMMER behaalt sterke prestatieverbeteringen met hogere snelheden in vergelijking met LUMEN en FiD op de KILT-benchmark van kennisintensieve taken.

English

Memory-augmentation is a powerful approach for efficiently incorporating external information into language models, but leads to reduced performance relative to retrieving text. Recent work introduced LUMEN, a memory-retrieval hybrid that partially pre-computes memory and updates memory representations on the fly with a smaller live encoder. We propose GLIMMER, which improves on this approach through 1) exploiting free access to the powerful memory representations by applying a shallow reranker on top of memory to drastically improve retrieval quality at low cost, and 2) incorporating multi-task training to learn a general and higher quality memory and live encoder. GLIMMER achieves strong gains in performance at faster speeds compared to LUMEN and FiD on the KILT benchmark of knowledge-intensive tasks.