GLIMMER: Generalisierter Late-Interaction-Memory-Reranker

Zusammenfassung

Speichererweiterung ist ein leistungsstarker Ansatz, um externe Informationen effizient in Sprachmodelle zu integrieren, führt jedoch im Vergleich zur Textabfrage zu einer reduzierten Leistung. Kürzlich wurde LUMEN eingeführt, ein Hybrid aus Speicher und Abfrage, der den Speicher teilweise vorberechnet und Speicherrepräsentationen mit einem kleineren Live-Encoder dynamisch aktualisiert. Wir schlagen GLIMMER vor, das diesen Ansatz durch 1) die Nutzung des freien Zugriffs auf die leistungsstarken Speicherrepräsentationen verbessert, indem ein flacher Neuordner auf den Speicher angewendet wird, um die Abfragequalität bei geringen Kosten drastisch zu verbessern, und 2) die Einbindung von Multi-Task-Training, um einen allgemeinen und qualitativ hochwertigeren Speicher und Live-Encoder zu erlernen. GLIMMER erzielt im Vergleich zu LUMEN und FiD auf dem KILT-Benchmark für wissensintensive Aufgaben deutliche Leistungssteigerungen bei schnelleren Geschwindigkeiten.

English

Memory-augmentation is a powerful approach for efficiently incorporating external information into language models, but leads to reduced performance relative to retrieving text. Recent work introduced LUMEN, a memory-retrieval hybrid that partially pre-computes memory and updates memory representations on the fly with a smaller live encoder. We propose GLIMMER, which improves on this approach through 1) exploiting free access to the powerful memory representations by applying a shallow reranker on top of memory to drastically improve retrieval quality at low cost, and 2) incorporating multi-task training to learn a general and higher quality memory and live encoder. GLIMMER achieves strong gains in performance at faster speeds compared to LUMEN and FiD on the KILT benchmark of knowledge-intensive tasks.

GLIMMER: Generalisierter Late-Interaction-Memory-Reranker

GLIMMER: generalized late-interaction memory reranker

Zusammenfassung

Support