GLIMMER: 일반화된 후기 상호작용 메모리 재순위 지정기

GLIMMER: generalized late-interaction memory reranker

June 17, 2023

저자: Michiel de Jong, Yury Zemlyanskiy, Nicholas FitzGerald, Sumit Sanghai, William W. Cohen, Joshua Ainslie

cs.AI

초록

메모리 증강(Memory-augmentation)은 외부 정보를 언어 모델에 효율적으로 통합하는 강력한 접근 방식이지만, 텍스트 검색에 비해 성능이 저하되는 단점이 있습니다. 최근 연구에서는 LUMEN이라는 메모리-검색 하이브리드 방식을 제안했는데, 이는 메모리를 부분적으로 미리 계산하고 더 작은 실시간 인코더를 사용하여 메모리 표현을 즉시 업데이트합니다. 우리는 GLIMMER를 제안하며, 이는 1) 강력한 메모리 표현에 자유롭게 접근하여 메모리 상단에 얕은 리랭커(Shallow Reranker)를 적용함으로써 낮은 비용으로 검색 품질을 크게 향상시키고, 2) 다중 작업 학습(Multi-task Training)을 도입하여 더 일반적이고 고품질의 메모리와 실시간 인코더를 학습하는 방식으로 이 접근법을 개선합니다. GLIMMER는 지식 집약적 작업(KILT) 벤치마크에서 LUMEN 및 FiD에 비해 더 빠른 속도로 강력한 성능 향상을 달성합니다.

English

Memory-augmentation is a powerful approach for efficiently incorporating external information into language models, but leads to reduced performance relative to retrieving text. Recent work introduced LUMEN, a memory-retrieval hybrid that partially pre-computes memory and updates memory representations on the fly with a smaller live encoder. We propose GLIMMER, which improves on this approach through 1) exploiting free access to the powerful memory representations by applying a shallow reranker on top of memory to drastically improve retrieval quality at low cost, and 2) incorporating multi-task training to learn a general and higher quality memory and live encoder. GLIMMER achieves strong gains in performance at faster speeds compared to LUMEN and FiD on the KILT benchmark of knowledge-intensive tasks.