GLIMMER: 一般化された後期相互作用メモリ再ランキングシステム

GLIMMER: generalized late-interaction memory reranker

June 17, 2023

著者: Michiel de Jong, Yury Zemlyanskiy, Nicholas FitzGerald, Sumit Sanghai, William W. Cohen, Joshua Ainslie

cs.AI

要旨

メモリ拡張は、外部情報を言語モデルに効率的に組み込むための強力なアプローチですが、テキスト検索と比較して性能が低下するという課題があります。最近の研究では、LUMENというメモリ検索ハイブリッド手法が提案され、メモリを部分的に事前計算し、より小型のライブエンコーダーを用いてメモリ表現をリアルタイムで更新する方法が示されました。 本研究では、GLIMMERを提案します。この手法は以下の2つの点でLUMENを改良しています。1) 強力なメモリ表現への自由なアクセスを活用し、メモリ上に浅いリランカーを適用することで、低コストで検索品質を大幅に向上させること、2) マルチタスク学習を組み込むことで、より汎用的で高品質なメモリとライブエンコーダーを学習することです。GLIMMERは、知識集約型タスクのベンチマークであるKILTにおいて、LUMENやFiDと比較して、より高速で大幅な性能向上を達成しています。

English

Memory-augmentation is a powerful approach for efficiently incorporating external information into language models, but leads to reduced performance relative to retrieving text. Recent work introduced LUMEN, a memory-retrieval hybrid that partially pre-computes memory and updates memory representations on the fly with a smaller live encoder. We propose GLIMMER, which improves on this approach through 1) exploiting free access to the powerful memory representations by applying a shallow reranker on top of memory to drastically improve retrieval quality at low cost, and 2) incorporating multi-task training to learn a general and higher quality memory and live encoder. GLIMMER achieves strong gains in performance at faster speeds compared to LUMEN and FiD on the KILT benchmark of knowledge-intensive tasks.