GLIMMER: reranker de memoria de interacción tardía generalizada

Resumen

La aumentación de memoria es un enfoque poderoso para incorporar eficientemente información externa en los modelos de lenguaje, pero conlleva una reducción en el rendimiento en comparación con la recuperación de texto. Trabajos recientes introdujeron LUMEN, un híbrido de memoria y recuperación que precalcula parcialmente la memoria y actualiza las representaciones de memoria sobre la marcha con un codificador en vivo más pequeño. Proponemos GLIMMER, que mejora este enfoque mediante 1) aprovechar el acceso libre a las poderosas representaciones de memoria aplicando un reranker superficial sobre la memoria para mejorar drásticamente la calidad de la recuperación a bajo costo, y 2) incorporar entrenamiento multitarea para aprender una memoria y un codificador en vivo más generales y de mayor calidad. GLIMMER logra fuertes mejoras en el rendimiento a velocidades más rápidas en comparación con LUMEN y FiD en el benchmark KILT de tareas intensivas en conocimiento.

English

Memory-augmentation is a powerful approach for efficiently incorporating external information into language models, but leads to reduced performance relative to retrieving text. Recent work introduced LUMEN, a memory-retrieval hybrid that partially pre-computes memory and updates memory representations on the fly with a smaller live encoder. We propose GLIMMER, which improves on this approach through 1) exploiting free access to the powerful memory representations by applying a shallow reranker on top of memory to drastically improve retrieval quality at low cost, and 2) incorporating multi-task training to learn a general and higher quality memory and live encoder. GLIMMER achieves strong gains in performance at faster speeds compared to LUMEN and FiD on the KILT benchmark of knowledge-intensive tasks.

GLIMMER: reranker de memoria de interacción tardía generalizada

GLIMMER: generalized late-interaction memory reranker

Resumen

Support